[論文レビュー] M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients

Tao Zhou, Huazhu Fu+5 more|arXiv (Cornell University)|Jun 1, 2020

Brain Tumor Detection and Classification参考文献 34被引用数 16

ひとこと要約

本論文は、マルチパラメトリックMRIスキャンを用いて脳腫瘍患者の全生存期間（OS）を予測するエンドツーエンドのマルチモーダル・マルチチャネルディープラーニングフレームワーク、M²Netを提案する。モダリティ固有のネットワークを活用して独自の画像特徴を保持し、双線形プーリングを用いたマルチモーダル共有ネットワークでモダリティ間相関を捉えることで、BraTS 2018データセットにおいて既存手法を上回り、c-index 0.664 ± 0.061を達成した。

ABSTRACT

Early and accurate prediction of overall survival (OS) time can help to obtain better treatment planning for brain tumor patients. Although many OS time prediction methods have been developed and obtain promising results, there are still several issues. First, conventional prediction methods rely on radiomic features at the local lesion area of a magnetic resonance (MR) volume, which may not represent the full image or model complex tumor patterns. Second, different types of scanners (i.e., multi-modal data) are sensitive to different brain regions, which makes it challenging to effectively exploit the complementary information across multiple modalities and also preserve the modality-specific properties. Third, existing methods focus on prediction models, ignoring complex data-to-label relationships. To address the above issues, we propose an end-to-end OS time prediction model; namely, Multi-modal Multi-channel Network (M2Net). Specifically, we first project the 3D MR volume onto 2D images in different directions, which reduces computational costs, while preserving important information and enabling pre-trained models to be transferred from other tasks. Then, we use a modality-specific network to extract implicit and high-level features from different MR scans. A multi-modal shared network is built to fuse these features using a bilinear pooling model, exploiting their correlations to provide complementary information. Finally, we integrate the outputs from each modality-specific network and the multi-modal shared network to generate the final prediction result. Experimental results demonstrate the superiority of our M2Net model over other methods.

研究の動機と目的

• 局所的なレディオミック特徴に依存する従来のOS予測手法の限界を解消し、複雑な腫瘍パターンを適切にモデル化すること。
• T1、T1ce、T2、FLAIRを含むマルチモーダルMRIデータを効果的に統合する課題を克服し、モダリティ固有の特徴を保持すること。
• 特徴学習と生存予測を統合的なエンドツーエンドフレームワークとして統合し、モデルの汎化性能を向上させるとともに、データからラベルへの関係を最大限に活用すること。
• 新規のマルチステージ統合戦略により、モダリティ間相関とモダリティ内特徴の両方をモデル化することで、予測性能を向上させること。

提案手法

• 計算コストを低減し、事前学習モデルからの転移学習を可能にするために、3D MRIボリュームを複数のビューに投影して2D画像に変換する。
• 各MRIシーケンス（T1、T1ce、T2、FLAIR）から高レベルのモダリティ固有特徴を抽出するために、モダリティ固有の畳み込みネットワークを採用する。
• 異なるMRIモダリティからの特徴間の複雑な相関をモデル化するために、双線形プーリングに基づくマルチモーダル共有ネットワークを活用する。
• モダリティ固有ネットワークと共有マルチモーダルネットワークの出力を最適に組み合わせるための適応的統合層を適用する。
• ラベル情報が特徴学習をガイドするように、全ネットワークをエンドツーエンドで訓練することで、表現品質を向上させる。
• トレーニングと評価にBraTS 2018データセットを用い、c-indexなどの指標を用いて生存時間予測を回帰タスクとして定式化する。

実験結果

リサーチクエスチョン

• RQ1 特徴の共同学習と生存予測を統合したエンドツーエンドのディープラーニングフレームワークは、従来の2段階手法に比べ、OS予測性能を向上させることができるか？
• RQ2 モダリティ固有の特徴学習とモダリティ間相関モデリングを併用することで、マルチモーダルMRIベースの生存予測において、予測性能がどの程度向上するか？
• RQ3 生存予測タスクにおいて、双線形プーリングを用いたマルチモーダル特徴統合は、単純な連結や早期統合に比べてどのように優れているか？
• RQ4 モダリティ固有表現と共有表現を統合する本手法のマルチステージ統合戦略は、小規模な医療データセットにおいて、より優れた汎化性能とロバスト性をもたらすか？
• RQ5 特徴学習と予測の共同最適化により、特に長期生存群において高いクラス内分散を示す生存時間の予測に、本モデルは効果的に対処できるか？

主な発見

• M²NetはBraTS 2018データセットでc-index 0.664 ± 0.061を達成し、3D CNN統合（c-index: 0.587 ± 0.093）やTPCNN（c-index: 0.636 ± 0.000）といったベースライン手法を顕著に上回った。
• 本手法は、モダリティ固有ネットワーク（c-index: 0.621 ± 0.069）やマルチモーダル共有ネットワーク（c-index: 0.611 ± 0.071）よりも優れた性能を示し、共同学習と統合の有効性を確認した。
• マルチモーダル統合は一貫して性能向上をもたらす：T1ceとT1の統合は単一モダリティ予測よりも優れており、FLAIRを追加することでさらなる性能向上が得られた。
• アブレーションスタディの結果、モダリティ固有学習と共有マルチモーダルモデリングの両方が不可欠であることが確認され、いずれかのコンポONENTを削除すると性能が低下した。
• 本モデルは、適合度（precision）0.574 ± 0.141、再現度（recall）0.613 ± 0.075、F1スコア0.589 ± 0.102を達成し、指標全体にわたるバランスの取れた性能を示した。
• 改善は見られたが、小規模なデータセット、生存時間の高いクラス内分散、曖昧なクラス境界といった要因により、性能は依然として制限されており、臨床データ統合やデータオーグメンテーションによるさらなる向上の余地があると考えられる。