[論文レビュー] MRI Pulse Sequence Integration for Deep-Learning Based Brain Metastasis Segmentation

Darvin Yi, Endre Grøvik+10 more|arXiv (Cornell University)|Dec 18, 2019

Advanced MRI Techniques and Applications参考文献 46被引用数 4

ひとこと要約

本論文は、入力レベルのドロップアウトを用いて欠損したスケジュールに対しても頑健な推論を可能にする、複数のMRIパルスシーケンスを統合する深層学習フレームワークを提案する。この手法は、小規模データセットで最先端の性能を達成し、再訓練なしに異なる施設間で一般化効果を示す一方で、可視化により、複数のシーケンス間で一貫性がありバランスの取れた特徴学習が行われていることが明らかになった。

ABSTRACT

Magnetic resonance (MR) imaging is an essential diagnostic tool in clinical medicine. Recently, a variety of deep learning methods have been applied to segmentation tasks in medical images, with promising results for computer-aided diagnosis. For MR images, effectively integrating different pulse sequences is important to optimize performance. However, the best way to integrate different pulse sequences remains unclear. In this study, we evaluate multiple architectural features and characterize their effects in the task of metastasis segmentation. Specifically, we consider (1) different pulse sequence integration schemas, (2) different modes of weight sharing for parallel network branches, and (3) a new approach for enabling robustness to missing pulse sequences. We find that levels of integration and modes of weight sharing that favor low variance work best in our regime of small data (n = 100). By adding an input-level dropout layer, we could preserve the overall performance of these networks while allowing for inference on inputs with missing pulse sequence. We illustrate not only the generalizability of the network but also the utility of this robustness when applying the trained model to data from a different center, which does not use the same pulse sequences. Finally, we apply network visualization methods to better understand which input features are most important for network performance. Together, these results provide a framework for building networks with enhanced robustness to missing data while maintaining comparable performance in medical imaging applications.

研究の動機と目的

• 複数のMRIパルスシーケンスを統合する深層学習ベースの脳転移巣セグメンテーションにおいて、最適なアーキテクチャと統合戦略を特定すること。
• 異なるプロトコルを持つ施設間での展開において、推論時にパルスシーケンスが欠損している場合のモデル感度という課題に対処すること。
• 部分的または欠損したシーケンスを含む多様な入力構成に対しても高い性能を維持する、単一の統合ネットワークを構築すること。
• 勾配ベースのサリエンシー可視化を用いて、異なるパルスシーケンスがモデル意思決定にどのように寄与しているかを分析すること。
• 入力レベルのドロップアウトを用いた場合の、訓練ダイナミクスの一貫性と安定性を評価すること。

提案手法

• T1強化、T1非強化、FLAIRの各MRIパルスシーケンスに対して並列ブランチを有する3D U-Netベースのセグメンテーションネットワークを採用した。
• 訓練中にパルスシーケンスの入力をランダムにマスキングすることで、入力レベルのドロップアウトを実装し、推論時の欠損データをシミュレートした。
• 初期統合（入力での連結）、後期統合（初期特徴の連結）、非強化および強化T1シーケンス間の特徴差分を用いた統合スキーマを複数検討した。
• パラメータ削減とバランスの取れた特徴学習を促進するため、並列ブランチ間で重み共有を実装し、共有モードのアブレーションも行った。
• 勾配ベースのサリエンシー可視化（Grad-CAM）を用いて、訓練および推論時における最も影響力のある入力特徴とシーケンスを分析した。
• スタンフォードのデータ（n=100）でモデルを学習し、異なるパルスシーケンスプロトコルを持つオ슬ー大学病院の独立したデータで一般化性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 小規模データ環境（n=100）において、初期統合、後期統合、差分ベース統合などのパルスシーケンス統合スキーマのうち、どのものが最高のセグメンテーション性能を達成するか？
• RQ2 訓練時に入力レベルのドロップアウトを適用することで、1つ以上のパルスシーケンスが欠損した入力に対してテストされたモデルの頑健性はどのように向上するか？
• RQ3 1つの施設のデータで学習したモデルが、異なるパルスシーケンスの可用性を持つ別の施設のデータに対しても、効果的に一般化可能か？
• RQ4 入力レベルのドロップアウトは、異なるパルスシーケンス間で訓練の一貫性と勾配行動にどのように影響を与えるか？
• RQ5 サリエンシー分析によって明らかにされた、最も転移巣セグメンテーション意思決定に寄与するMRIパルスシーケンスはどれか？

主な発見

• 非強化および強化T1強調画像の差分に基づく統合が、最高のセグメンテーション性能を示し、対比強調の違いをモデル化することで検出性能が向上することが示唆された。
• fold間での性能の分散が小さいモデルが、分散が大きいモデルを上回った。これは、小規模データ環境において安定性が重要な要因であることを示している。
• 入力レベルのドロップアウトにより、完全な入力セットに対して高い性能（DSC ≈ 0.78）を維持することができ、また、欠損したシーケンスを含む入力に対しても、各シーケンスサブセットに特化して訓練されたモデルと同等の性能を達成した。
• ドロップアウトで学習したモデルは、スタンフォードとは異なるパルスシーケンスプロトコルを持つオースルー大学病院のデータに対しても、効果的に一般化され、施設特化モデルと同等の性能を達成した。
• サリエンシー分析から、FLAIRシーケンスは、腫脹を含まない専門家ラベルのため、セグメンテーション意思決定に最も寄与していなかった。また、ドロップアウト学習により、複数のシーケンス間でよりバランスの取れた一貫性のある特徴学習が実現された。
• ドロップアウト学習は、時間経過に伴いより安定的かつ予測可能な勾配行動を生み出し、訓練ランの間で一貫したサリエンシーパターンを示した。これに対して、ドロップアウトなしのモデルは、特徴の重要度に著しいばらつきを示した。