[논문 리뷰] Hierarchical Text-Guided Brain Tumor Segmentation via Sub-Region-Aware Prompts

Bahram Mohammadi, Ta Duc Huy외 9명|arXiv (Cornell University)|2026. 03. 22.

Brain Tumor Detection and Classification인용 수 0

한 줄 요약

TextCSP는 소프트 캐스케이드 디코더, 하위 영역 인지 프롬프트, 텍스트-시맨토닉 채널 모듈레이션을 갖춘 계층적 텍스트 가이드 뇌종양 분할 모델로 TextBraTS에서 WT, TC, ET 분할을 개선합니다. Dice와 HD95에서 평균적으로 최첨단 방법을 능가합니다.

ABSTRACT

Brain tumor segmentation remains challenging because the three standard sub-regions, i.e., whole tumor (WT), tumor core (TC), and enhancing tumor (ET), often exhibit ambiguous visual boundaries. Integrating radiological description texts with imaging has shown promise. However, most multimodal approaches typically compress a report into a single global text embedding shared across all sub-regions, overlooking their distinct clinical characteristics. We propose TextCSP (text-modulated soft cascade architecture), a hierarchical text-guided framework that builds on the TextBraTS baseline with three novel components: (1) a text-modulated soft cascade decoder that predicts WT->TC->ET in a coarse-to-fine manner consistent with their anatomical containment hierarchy. (2) sub-region-aware prompt tuning, which uses learnable soft prompts with a LoRA-adapted BioBERT encoder to generate specialized text representations tailored for each sub-region; (3) text-semantic channel modulators that convert the aforementioned representations into channel-wise refinement signals, enabling the decoder to emphasize features aligned with clinically described patterns. Experiments on the TextBraTS dataset demonstrate consistent improvements across all sub-regions against state-of-the-art methods by 1.7% and 6% on the main metrics Dice and HD95.

연구 동기 및 목표

• 방사선학 텍스트를 활용해 다 영역 뇌종양 분할을 개선하는 동기를 제시한다.
• ET ⊆ TC ⊆ WT의 해부학적 계층을 활용하여 단일 출력 헤드 및 전역 텍스트 임베딩의 한계를 해결한다.
• 언어적 신호를 부분 영역 분할에 맞추는 다구성 프레임워크를 파라미터 효율적으로 개발한다.

제안 방법

• 해부학적 포함을 반영하는 세 연속 헤드(WT, TC, ET)가 있는 텍스트 변조 소프트 캐스케이드 디코더를 제안한다.
• LoRA로 적응된 BioBERT와 각 하위 영역 별 소프트 프롬프트를 사용하여 하위 영역 인지 프롬프트 튜닝을 수행해 특화된 텍스트 표현을 생성한다.
• 가지별 언어 priors를 가지는 텍스트-시맨틱 채널 모듈(SE 유사)을 도입해 가지 분기별 특징 맵을 다듬는다.
• TextBraTS 베이스라인(Swin Transformer 시각 인코더, BioBERT 텍스트 인코더, 교차 주의 내용융합, U-Net 디코더) 위에 구축한다.
• 텍스트 인코더에 LoRA(쿼리/값 투영), 소형 소프트 프롬프트(K=4), 텍스트 조건 SE 모듈로 학습하고, SGD로 SAM을 사용해 최적화한다.

실험 결과

연구 질문

• RQ1 계층적 텍스트 가이드 아키텍처가 분할 과정에서 ET ⊆ TC ⊆ WT 해부학적 포함을 강제할 수 있는가?
• RQ2 부분 영역 인지 프롬프트와 LoRA 적응이 글로벌 텍스트 임베딩에 비해 WT, TC, ET에 대한 텍스트-이미지 융합을 향상시키는가?
• RQ3 텍스트-시맨틱 채널 모듈이 지역별 특징 맵에 언어적 우선 정보를 주입해 추가 개선을 제공하는가?

주요 결과

• TextCSP는 TextBraTS에서 평균 Dice 87.0%로 최첨단을 달성하며 TextBraTS보다 1.7% 포인트 더 우수하다.
• TextCSP는 평균 HD95 4.81 mm로 최우수 결과를 달성하며 기본값 대비 약 0.32 mm 개선한다.
• TC의 이득은 TextCSP에서 부분 영역 중 가장 큰 편이다(+2.6% Dice).
• 배아래 실험에서 소프트 캐스케이드, 부분 영역 프롬프트, LoRA, 텍스트 모듈화를 포함한 전체 모형이 가장 높은 Dice(87.0%) 및 가장 낮은 HD95(4.81 mm)를 얻는다.
• 연속 WT→TC→ET 캐스케이드가 병렬 또는 부분 캐스케이드 전략보다 전체 Dice에서 더 우수하다(87.0%).