[论文解读] CKD-TransBTS: Clinical Knowledge-Driven Hybrid Transformer with Modality-Correlated Cross-Attention for Brain Tumor Segmentation

Jianwei Lin, Jiatai Lin+13 more|arXiv (Cornell University)|Jul 15, 2022

Brain Tumor Detection and Classification被引用 4

一句话总结

该论文提出 CKD-TransBTS，一种基于临床知识的混合 Transformer 模型，用于脑肿瘤分割。该模型根据放射学诊断原则，将 MRI 模态重新组织为具有生物学意义的配对（T1/T1Gd 和 T2/T2FLAIR）。通过引入一种模态相关交叉注意力模块（MCCA）和一种 Transformer 与 CNN 特征校准模块（TCFC），该模型在 BraTS 2021 上实现了最先进性能，平均 Dice 分数达到 0.9066，HD95 为 6.22，显著提升了边界精度并减少了假阳性结果。

ABSTRACT

Brain tumor segmentation (BTS) in magnetic resonance image (MRI) is crucial for brain tumor diagnosis, cancer management and research purposes. With the great success of the ten-year BraTS challenges as well as the advances of CNN and Transformer algorithms, a lot of outstanding BTS models have been proposed to tackle the difficulties of BTS in different technical aspects. However, existing studies hardly consider how to fuse the multi-modality images in a reasonable manner. In this paper, we leverage the clinical knowledge of how radiologists diagnose brain tumors from multiple MRI modalities and propose a clinical knowledge-driven brain tumor segmentation model, called CKD-TransBTS. Instead of directly concatenating all the modalities, we re-organize the input modalities by separating them into two groups according to the imaging principle of MRI. A dual-branch hybrid encoder with the proposed modality-correlated cross-attention block (MCCA) is designed to extract the multi-modality image features. The proposed model inherits the strengths from both Transformer and CNN with the local feature representation ability for precise lesion boundaries and long-range feature extraction for 3D volumetric images. To bridge the gap between Transformer and CNN features, we propose a Trans&CNN Feature Calibration block (TCFC) in the decoder. We compare the proposed model with five CNN-based models and six transformer-based models on the BraTS 2021 challenge dataset. Extensive experiments demonstrate that the proposed model achieves state-of-the-art brain tumor segmentation performance compared with all the competitors.

研究动机与目标

• 解决现有脑肿瘤分割模型在多模态 MRI 融合中仅将特征拼接视为通用操作而缺乏临床依据的问题。
• 将放射学诊断知识——特别是放射科医生如何通过对比 T1/T1Gd 识别增强肿瘤，以及通过 T2/T2FLAIR 识别水肿——整合到模型架构中。
• 通过设计一种模态感知的融合机制，提升分割精度，尤其是病变边界和假阳性抑制。
• 通过解码器中引入一种新型特征校准模块，弥合 CNN 与 Transformer 特征之间的表征差距。
• 证明在深度学习架构中整合临床先验知识，可提升模型泛化能力与性能，超越仅依赖标签监督的限制。

提出的方法

• 基于其临床成像原理与诊断相关性，将输入的 MRI 模态重新划分为两组：(T1, T1Gd) 和 (T2, T2FLAIR)。
• 设计双分支混合编码器，每个分支使用 CNN 与 Transformer 模块的组合处理一组模态，以捕捉局部与长距离特征。
• 模态相关交叉注意力（MCCA）模块实现模态对之间的交叉注意力，学习模态特异的相关性，以增强特征表示。
• 在解码器中引入 Transformer 与 CNN 特征校准（TCFC）模块，对齐并校准来自 Transformer 与 CNN 分支的特征，减少领域偏移与偏差。
• 在 BraTS 2021 数据集上端到端训练模型，使用标准指标：Dice 分数与 Hausdorff 距离（HD95）。
• 消融研究对比了不同融合策略：输入级、特征级，以及所提出的模态配对策略结合 MCCA。

实验结果

研究问题

• RQ1 将 MRI 模态重新组织为具有临床意义的配对，是否能提升脑肿瘤分割性能？
• RQ2 模态相关交叉注意力机制是否优于传统的特征级或输入级融合策略？
• RQ3 采用专用特征校准模块的混合 Transformer-CNN 架构，是否能提升边界精度并减少假阳性？
• RQ4 在监督学习之外，整合临床诊断知识在多大程度上能增强模型泛化能力？
• RQ5 所提出的模型在 BraTS 2021 基准测试中与最先进方法相比表现如何？

主要发现

• 所提出的 CKD-TransBTS 模型在 BraTS 2021 测试集上达到 0.9066 的平均 Dice 分数，优于所有对比的基于 CNN 和 Transformer 的模型。
• 模型的 HD95 距离为 6.22，表明边界精度更优，尤其在增强肿瘤（ET）上 HD95 达 5.93。
• 消融研究显示，将 T1 与 T1Gd 作为一对可获得最佳性能，ET 的 Dice 分数达 0.8850，证明临床知识在融合设计中的价值。
• MCCA 模块显著提升分割精度，相比输入级融合，HD95 最多降低 2.5 mm。
• 定性结果表明，该模型能更有效地检测小病灶并抑制假阳性，尤其在通过对比 T1 与 T1Gd 识别增强肿瘤时表现更优。
• Transformer 与 CNN 特征校准（TCFC）模块有效缩小了 Transformer 与 CNN 特征之间的表征差距，提升了特征对齐与分割一致性。