[论文解读] Hierarchical Text-Guided Brain Tumor Segmentation via Sub-Region-Aware Prompts

Bahram Mohammadi, Ta Duc Huy+9 more|arXiv (Cornell University)|Mar 22, 2026

Brain Tumor Detection and Classification被引用 0

一句话总结

TextCSP 引入分层文本引导的大脑肿瘤分割模型，具有软级联解码器、子区域感知提示和文本语义通道调制，以提升在 TextBraTS 上的 WT、TC 和 ET 的分割性能。它在 Dice 和 HD95 的平均水平上超越了最先进的方法。

ABSTRACT

Brain tumor segmentation remains challenging because the three standard sub-regions, i.e., whole tumor (WT), tumor core (TC), and enhancing tumor (ET), often exhibit ambiguous visual boundaries. Integrating radiological description texts with imaging has shown promise. However, most multimodal approaches typically compress a report into a single global text embedding shared across all sub-regions, overlooking their distinct clinical characteristics. We propose TextCSP (text-modulated soft cascade architecture), a hierarchical text-guided framework that builds on the TextBraTS baseline with three novel components: (1) a text-modulated soft cascade decoder that predicts WT->TC->ET in a coarse-to-fine manner consistent with their anatomical containment hierarchy. (2) sub-region-aware prompt tuning, which uses learnable soft prompts with a LoRA-adapted BioBERT encoder to generate specialized text representations tailored for each sub-region; (3) text-semantic channel modulators that convert the aforementioned representations into channel-wise refinement signals, enabling the decoder to emphasize features aligned with clinically described patterns. Experiments on the TextBraTS dataset demonstrate consistent improvements across all sub-regions against state-of-the-art methods by 1.7% and 6% on the main metrics Dice and HD95.

研究动机与目标

• 利用放射学文本来改进多区域大脑肿瘤分割的动机。
• 通过利用解剖层级 ET ⊆ TC ⊆ WT，解决单输出头和全局文本嵌入的局限性。
• 开发一个参数高效的多组件框架，使语言线索与子区域分割对齐。

提出的方法

• 提出一个文本调制的软级联解码器，包含三个顺序头部（WT、TC、ET），体现解剖 containment。
• 使用具有 LoRA 适配的 BioBERT 的子区域感知提示微调和每个子区域的软提示，以生成专业化的文本表示。
• 结合文本语义通道调节器（类似 SE）以利用分支特异的语言 prior 来精炼解码器特征。
• 在 TextBraTS 基线之上构建（Swin Transformer 视觉编码器、BioBERT 文本编码器、跨注意力融合、U-Net 解码器）。
• 使用文本编码器上的 LoRA（查询/值投影）、小型软提示（K=4）和文本条件的 SE 模块进行训练；使用带有 SGD 的 SAM 进行优化。

实验结果

研究问题

• RQ1 分层文本引导的架构是否能在分割过程中强制执行 ET ⊆ TC ⊆ WT 的解剖 containment？
• RQ2 子区域感知提示和 LoRA 适配是否能提升 WT、TC、ET 的文本–图像融合，相较于全局文本嵌入？
• RQ3 文本语义通道调制器通过将语言先验注入到区域特定的特征图中，是否能带来额外增益？

主要发现

• TextCSP 在 TextBraTS 上达到平均 Dice 87.0% 的最先进水平，较 TextBraTS 提升 1.7%。
• TextCSP 达到最佳平均 HD95 4.81 mm，比基线提升约 0.32 mm。
• TC 的增益在子区域中通过 TextCSP 最大（Dice 提升 2.6%）。
• 消融实验表明，完整模型（软级联、子区域提示、LoRA、文本调制）获得最高 Dice（87.0%）和最低 HD95（4.81 mm）。
• 顺序 WT→TC→ET 的级联在总体 Dice（87.0%）上优于并行或局部级联策略。