[論文レビュー] ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities

Yixin Wang, Yang Zhang+7 more|arXiv (Cornell University)|Jun 28, 2021

Brain Tumor Detection and Classification参考文献 22被引用数 8

ひとこと要約

本論文は、臨床的制約（アーティファクト、アレルギー、スキャン時間など）により複数のMRIモodalが欠落している状況下でも脳腫瘍セグメンテーションを実行可能な、敵対的共同学習ネットワーク（ACN）を提案する。ACNはエントロピーと知識の敵対的モジュールを用いて、完全モダリティと欠落モダリティのパス間で連携学習を実施するとともに、モダリティ間相互情報の転送を可能にする。ACNは最先端手法を著しく上回り、BraTS2018でWTでは80%以上、ET/TCでは40%以上のDSCを達成する。これは臨床的に困難な状況下でも高い耐性を示すことを示している。

ABSTRACT

Accurate segmentation of brain tumors from magnetic resonance imaging (MRI) is clinically relevant in diagnoses, prognoses and surgery treatment, which requires multiple modalities to provide complementary morphological and physiopathologic information. However, missing modality commonly occurs due to image corruption, artifacts, different acquisition protocols or allergies to certain contrast agents in clinical practice. Though existing efforts demonstrate the possibility of a unified model for all missing situations, most of them perform poorly when more than one modality is missing. In this paper, we propose a novel Adversarial Co-training Network (ACN) to solve this issue, in which a series of independent yet related models are trained dedicated to each missing situation with significantly better results. Specifically, ACN adopts a novel co-training network, which enables a coupled learning process for both full modality and missing modality to supplement each other's domain and feature representations, and more importantly, to recover the `missing' information of absent modalities. Then, two unsupervised modules, i.e., entropy and knowledge adversarial learning modules are proposed to minimize the domain gap while enhancing prediction reliability and encouraging the alignment of latent representations, respectively. We also adapt modality-mutual information knowledge transfer learning to ACN to retain the rich mutual information among modalities. Extensive experiments on BraTS2018 dataset show that our proposed method significantly outperforms all state-of-the-art methods under any missing situation.

研究の動機と目的

• 臨床的制約（アーティファクト、アレルギー、スキャン時間など）により複数のMRIモダリティが欠落している状況下での脳腫瘍セグメンテーションの課題に対処すること。
• 複数のモダリティが欠落した場合に顕著に性能が低下する統合型モデルの限界を克服すること。
• 各欠落モダリティシナリオに特化した、しかし関連するモデルを構築することで、セグメンテーション精度を向上させること。
• 情報理論的原則と敵対的ドメイン／特徴量アライメントを用いて、完全モダリティから欠落モダリティへ知識を転送すること。
• 教師なし敵対的学習により、完全モダリティと欠落モダリティの表現間の不確実性とドメインシフトを低減すること。

提案手法

• ACNは二重パスアーキテクチャを採用：完全モダリティ学習のためのマルチモダリティパスと、単一モダリティ推論のためのユニモダリティパスを設け、両者の間で共同学習を実現する。
• エントロピー敵対的学習モジュール（EnA）は、予測不確実性分布のアライメントにより、完全モダリティと欠落モダリティの表現間のドメインギャップを最小化する。
• 知識敵対的学習モジュール（KnA）は、マルチモダリティパスとユニモダリティパス間の潜在特徴表現のアライメントを促進することで、特徴の一貫性を向上させる。
• モダリティ相互情報知識転送モジュール（MMI）は、変分情報最大化を用いて欠落モダリティの知識を回復させ、豊かなモダリティ間依存関係を保持する。
• 共同学習フレームワークは、一貫性損失と敵対的モジュールを統合して両パスを同時に最適化し、ドメイン表現と特徴表現の相互強化を実現する。
• 本手法はエンドツーエンドで学習され、各特定の欠落モダリティ構成に適応可能であり、再トレーニングなしに特化した推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 複数のMRIモダリティが欠落している脳腫瘍画像において、共同学習フレームワークがセグメンテーション性能を著しく向上させることができるか？
• RQ2 敵対的ドメイン適応は、医療画像セグメンテーションにおける完全モダリティと欠落モダリティの表現間の分布ギャップをどのように埋めることができるか？
• RQ3 モダリティ間相互情報は、不完全データシナリオにおける欠落知識の回復にどの程度活用可能か？
• RQ4 提案されたACNは、全欠落モダリティ構成において統合型モデルを上回るセグメンテーション精度を達成するか？
• RQ5 教師なし敵対的モジュールは、欠落モダリティデータのラベルを必要とせずに、予測の信頼性と表現アライメントを向上させることができるか？

主な発見

• T1ceモダリティのみが利用可能な状況で、ACNはWTの平均DSCが80.92%を達成し、KD-Netの80.52%を著しく上回った。
• T1ceとFlairが欠落している困難な状況下で、ACNは強化腫瘍（ET）のDSCを42.98%に達成した。これに対してKD-Netは39.04%であった。
• T2モダリティのみが利用可能な状況で、ACNはWTのDSCを87.30%に達成し、KD-Netの85.14%を上回った。
• アブレーションスタディの結果、EnA、KnA、MMIの3つのモジュールが相乗的に寄与しており、ACNの完全モデルはT1ceのみの推論において平均80.92%のDSCを達成した。
• 定性的な結果から、ACNは予測不確実性（エントロピー）を低減し、特にモダリティ欠落度の高い状況下でもセグメンテーション精度を向上させた。
• ACNは、複数モダリティ欠落状況を含む全シナリオにおいて優れた耐性を示し、従来手法がDSCが20%未満に下がるような状況でも、ACNは安定した性能を発揮した。