[论文解读] MRI Pulse Sequence Integration for Deep-Learning Based Brain Metastasis Segmentation

Darvin Yi, Endre Grøvik+10 more|arXiv (Cornell University)|Dec 18, 2019

Advanced MRI Techniques and Applications参考文献 46被引用 4

一句话总结

该论文提出了一种用于脑转移瘤分割的深度学习框架，通过输入级dropout整合多种MRI脉冲序列，实现对缺失序列的鲁棒推理。该方法在小样本数据集上达到最先进性能，并且无需微调即可在不同机构间有效泛化，同时可视化结果揭示了各序列间一致且均衡的特征学习。

ABSTRACT

Magnetic resonance (MR) imaging is an essential diagnostic tool in clinical medicine. Recently, a variety of deep learning methods have been applied to segmentation tasks in medical images, with promising results for computer-aided diagnosis. For MR images, effectively integrating different pulse sequences is important to optimize performance. However, the best way to integrate different pulse sequences remains unclear. In this study, we evaluate multiple architectural features and characterize their effects in the task of metastasis segmentation. Specifically, we consider (1) different pulse sequence integration schemas, (2) different modes of weight sharing for parallel network branches, and (3) a new approach for enabling robustness to missing pulse sequences. We find that levels of integration and modes of weight sharing that favor low variance work best in our regime of small data (n = 100). By adding an input-level dropout layer, we could preserve the overall performance of these networks while allowing for inference on inputs with missing pulse sequence. We illustrate not only the generalizability of the network but also the utility of this robustness when applying the trained model to data from a different center, which does not use the same pulse sequences. Finally, we apply network visualization methods to better understand which input features are most important for network performance. Together, these results provide a framework for building networks with enhanced robustness to missing data while maintaining comparable performance in medical imaging applications.

研究动机与目标

• 识别在基于深度学习的脑转移瘤分割中，结合多种MRI脉冲序列的最优网络架构与融合策略。
• 解决模型在推理阶段对缺失脉冲序列敏感的问题，特别是在不同协议的机构间部署时。
• 开发单一统一的网络，在包含部分或缺失序列的多样化输入配置下仍保持高性能。
• 利用基于梯度的显著性图分析并可视化不同脉冲序列对模型决策的贡献。
• 评估在使用输入级dropout进行序列融合时，训练动态的一致性与稳定性。

提出的方法

• 采用基于3D U-Net的分割网络，为每种MRI脉冲序列（T1增强前、T1增强后、FLAIR）设置并行分支。
• 通过在训练期间随机屏蔽整个脉冲序列输入实现输入级dropout，模拟推理阶段的缺失数据。
• 探索多种融合模式，包括早期融合（在输入阶段拼接）、晚期融合（早期特征拼接）以及增强前后T1加权序列之间的特征相减。
• 通过在并行分支间共享权重以减少参数量并促进均衡的特征学习，同时对共享模式进行消融实验。
• 应用基于梯度的显著性可视化（Grad-CAM）分析训练和推理过程中最具影响力的输入特征与序列。
• 在斯坦福大学数据集（n=100）上训练模型，并在独立的奥斯陆大学医院数据集上评估其泛化能力，该数据集使用了不同的脉冲序列协议。

实验结果

研究问题

• RQ1 在小样本数据集（n=100）条件下，哪种脉冲序列融合模式（如早期融合、晚期融合或基于相减的融合）能实现最佳分割性能？
• RQ2 在训练期间使用输入级dropout，如何影响模型在缺失一个或多个脉冲序列输入时的鲁棒性？
• RQ3 一个在单一机构数据上训练的模型，能否有效泛化到另一家机构的数据，即使其脉冲序列可用性不同？
• RQ4 输入级dropout如何影响不同脉冲序列之间的训练一致性和梯度行为？
• RQ5 通过显著性分析，哪些MRI脉冲序列对转移瘤分割决策最具预测性？

主要发现

• 对增强前与增强后T1加权特征进行相减的融合方式取得了最佳分割性能，表明建模对比增强差异有助于检测。
• 在不同折数中性能方差较低的模型优于方差较高的模型，表明稳定性是小样本数据集中的关键因素。
• 输入级dropout使单一模型在完整输入集上保持高性能（DSC ≈ 0.78），并能与针对每种子集序列专门训练的模型相媲美，即使在序列缺失时亦然。
• 经过dropout训练的模型在奥斯陆大学医院数据上实现了有效泛化——该机构的脉冲序列与斯坦福大学不同——其性能与机构特异性模型相当。
• 显著性分析显示，FLAIR序列对分割决策的贡献最小，可能是因为专家标注未包含水肿信息；且dropout训练使各序列间的特征学习更加均衡和一致。
• dropout训练产生了更稳定、可预测的梯度行为，训练过程中显著性模式一致，而未使用dropout的模型则在特征重要性方面表现出高度可变性。