[論文レビュー] A unified representation network for segmentation with missing modalities

Kenneth K. Lau, Jonas Adler+1 more|arXiv (Cornell University)|Aug 19, 2019

Advanced Neural Network Applications参考文献 15被引用数 17

ひとこと要約

本稿では、入力モodalitiesが欠落している状況下でも深層学習による画像分類を向上させるために、統一的表現ネットワーク（URN）とモダリティドロップアウトを提案する。URNは可変的な入力モダリティ間で共有表現を学習し、不完全なデータでも頑健な分類を可能にする。特にBRATS や HCP のようなマルチモダリティデータセットで事前学習された場合、標準的なU-net やモダリティドロップアウト単体よりも優れた性能を示す。

ABSTRACT

Over the last few years machine learning has demonstrated groundbreaking results in many areas of medical image analysis, including segmentation. A key assumption, however, is that the train- and test distributions match. We study a realistic scenario where this assumption is clearly violated, namely segmentation with missing input modalities. We describe two neural network approaches that can handle a variable number of input modalities. The first is modality dropout: a simple but surprisingly effective modification of the training. The second is the unified representation network: a network architecture that maps a variable number of input modalities into a unified representation that can be used for downstream tasks such as segmentation. We demonstrate that modality dropout makes a standard segmentation network reasonably robust to missing modalities, but that the same network works even better if trained on the unified representation.

研究の動機と目的

• テスト時に入力モダリティが欠落する現実の課題に対処し、標準的な学習-テスト分布仮定を満たさない状況での医用画像分類を改善すること。
• 入力モダリティのすべての組み合わせに対して個別にネットワークを訓練するのを回避し、組み合わせ的爆発を避ける方法を開発すること。
• 教師なし事前学習と統一的表現学習を用いて、欠落したモダリティの状況下でも分類の頑健性と性能を向上させること。
• モダリティドロップアウトと統一的表現ネットワークが、マルチモダリティ分類における一般化性能を向上させ、欠落データへの感受性を低下させるかどうかを評価すること。

提案手法

• モダリティドロップアウトは、学習中に全入力チャネルをランダムにゼロにすることで、ネットワークがモダリティ不変特徴を学習し、欠落入力に対しても頑健になるように強制する。
• 統一的表現ネットワーク（URN）は、各入力モダリティに対して別個のU-netエンコーダーを用い、トレーニング可能なエンコーダーを通じてそれらを共有された潜在表現にマッピングする。
• URNは、部分的に重複するモダリティを持つデータセット（例：BRATS および HCP）上で教師なしの方法で事前学習され、事前学習段階ではセグメンテーションラベルを必要としない。
• 下流のセグメンテーションは、統一された表現に特化したデコーダーヘッドを用いて実行され、可変な入力モダリティを伴うエンドツーエンドのセグメンテーションを可能にする。
• モダリティドロップアウトの際、ドロップするモダリティ数をサンプリングするために、切断幾何分布が用いられる：$ p_\theta(k) = \frac{(1-\theta)\theta^k}{1-\theta^{N+1}} $（$ k = 0, \dots, N_{\text{max}} $）。
• 事前学習は、HCP データセットの1108名の健常者から得られたT1およびT2 MRスキャンを対象とし、被験者およびモダリティごとに強度正規化とバイアスフィールド補正が施された。

実験結果

リサーチクエスチョン

• RQ1 モダリティドロップアウトは、医用画像分類における標準的なU-netの欠落入力モダリティに対する頑健性を向上させることができるか？
• RQ2 複数のモダリティにわたる統一的表現を学習することは、モダリティドロップアウト単体よりも優れたセグメンテーション性能をもたらすか？
• RQ3 部分的なモダリティの重複を持つ複数のデータセット上で教師なし事前学習を実施することで、下流のセグメンテーション性能が向上するか？
• RQ4 不完全な入力組み合わせでテストされた場合、統一的表現ネットワークは標準モデルよりも効果的か？

主な発見

• モダリティドロップアウトは、テスト時にモダリティが欠落した場合の標準U-netの性能低下を顕著に軽減し、頑健性を大幅に向上させる。
• 統一的表現ネットワーク（URN）は、すべての入力組み合わせにおいて、全腫瘍セグメンテーションのDiceスコアが最高を記録し、ベースラインU-netおよびモダリティドロップアウト変種を上回る。
• BRATS およびHCPのデータを統合して事前学習したURNは、強化腫瘍および腫瘍コア領域のセグメンテーション性能を向上させたが、全腫瘍の性能は事前学習を行わないURNと同等であった。
• すべてのモダリティが存在する状況でも、モダリティドロップアウトを用いた学習が、ベースラインU-netおよびURNの両方の性能を向上させた。これは、モダリティ間の特徴共有を促進する正則化として機能している可能性を示唆する。
• FLAIRは、BRATSにおける全腫瘍セグメンテーションにおいて最も情報量の多いモダリティであった。その欠落により、ベースラインモデルの性能低下が最大であった。
• 定性的な結果から、T1c単体でもURNは腫瘍のすべての構造を信頼性高くセグメンテーション可能であることが示された。これは臨床的実践でT1cが主に強化腫瘍に用いられるのとは対照的である。