[論文レビュー] ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for Multiple Sclerosis Lesion Segmentation with Missing Modalities

Han Liu, Yubo Fan+7 more|arXiv (Cornell University)|Mar 7, 2022

Microbial infections and disease research被引用数 4

ひとこと要約

ModDrop++ は、欠損した MRI モodal における多発性硬化症病変分類を改善するため、被験者内共訓練を組み込んだ動的フィルターネットワークを提案する。入力モダリティの欠損パターンに応じてフィルタースケーリング行列を生成するプラグアンドプレイ型の動的ヘッドを導入し、同じ被験者からの完全モダリティおよび欠損モダリティデータ間での共訓練を実施することで、アーキテクチャの変更なしに、あらゆるモダリティ欠損条件において最先端の性能を達成した。

ABSTRACT

Multiple Sclerosis (MS) is a chronic neuroinflammatory disease and multi-modality MRIs are routinely used to monitor MS lesions. Many automatic MS lesion segmentation models have been developed and have reached human-level performance. However, most established methods assume the MRI modalities used during training are also available during testing, which is not guaranteed in clinical practice. Previously, a training strategy termed Modality Dropout (ModDrop) has been applied to MS lesion segmentation to achieve the state-of-the-art performance with missing modality. In this paper, we present a novel method dubbed ModDrop++ to train a unified network adaptive to an arbitrary number of input MRI sequences. ModDrop++ upgrades the main idea of ModDrop in two key ways. First, we devise a plug-and-play dynamic head and adopt a filter scaling strategy to improve the expressiveness of the network. Second, we design a co-training strategy to leverage the intra-subject relation between full modality and missing modality. Specifically, the intra-subject co-training strategy aims to guide the dynamic head to generate similar feature representations between the full- and missing-modality data from the same subject. We use two public MS datasets to show the superiority of ModDrop++. Source code and trained models are available at https://github.com/han-liu/ModDropPlusPlus.

研究の動機と目的

• 多発性硬化症病変分類における、MRI モダリティの不一致という臨床的課題に対処すること。
• Modality Dropout (ModDrop) の限界、例えばネットワーク表現力の制限および被験者内知識伝達の欠如を克服すること。
• 既存のネットワークアーキテクチャを変更せずに、任意のモダリティ欠損組み合わせにおいて一般化性能を向上させるプラグアンドプレイ手法を開発すること。
• 統一モデルとモダリティ特化モデルの間の性能ギャップを最小限に抑え、臨床的展開に耐性を持つこと。
• 被験者間の関係を活用して、同じ患者からの完全モダリティと欠損モダリティ入力間の特徴表現の一貫性を高めること。

提案手法

• モダリティ欠損パターンに応じてフィルタースケーリング行列を生成するプラグアンドプレイ型の動的ヘッドを導入し、特徴表現の適応的学習を可能にする。
• 入力モダリティの可用性に応じて、最初の畳み込み層のパラメータを動的に調整するフィルタースケーリング戦略を適用する。
• 同じ被験者からの完全モダリティと欠損モダリティ入力間の特徴表現を整合させるための被験者内共訓練戦略を設計する。
• 同じ被験者からの特徴マップの類似性を促進するために、対照的損失を用いて動的ヘッドを訓練する。
• 動的ヘッドと共訓練を統合した統一ネットワークを、アーキテクチャの柔軟性を保ちながら ModDrop パラダイムに従って訓練する。
• 2つの公的 MS データセット（ISBI 2015 および MSSEG）を用いて、多様なモダリティ欠損状況下での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 動的フィルタメカニズムは、モダリティ欠損状況下での多発性硬化症病変分類におけるモデル表現力を向上させることができるか？
• RQ2 完全モダリティと欠損モダリティデータ間の被験者内共訓練は、特徴表現の一貫性と分類精度を向上させるか？
• RQ3 ModDrop++ は、単一の統一アーキテクチャを維持しながら、モダリティ特化モデルと同等の性能を達成できるか？
• RQ4 動的フィルタリングと共訓練の組み合わせは、さまざまなモダリティ欠損設定において、標準的な ModDrop を上回る性能を発揮するか？
• RQ5 本手法は、モダリティ可用性や被験者数が異なるデータセット間でも、どの程度一般化可能か？

主な発見

• ISBI 2015 データセットにおいて、すべてのモダリティが利用可能な状況で ModDrop++ は最高の Dice Similarity Coefficient (DSC) 0.793 を達成し、ベースラインの ModDrop やモダリティ特化モデルを上回った。
• T1w のみが利用可能な状況で、ModDrop++ は DSC 0.710 を達成し、ModDrop (0.684) を顕著に上回り、誤検出および見逃しを低減した。
• FLAIR が欠損している状況でも、ModDrop++ は DSC 0.772 を維持し、この重要なモダリティが欠落している場合でも高いロバストネスを示した。
• 動的ヘッドと被験者内共訓練（ModDrop++）の組み合わせにより、特にモダリティが少ない状況下で、統一モデルとモダリティ特化モデルの性能ギャップが縮小された。
• MSSEG データセットでは、すべてのモダリティが利用可能な状況で ModDrop++ は DSC 0.776 を達成し、T1w のみの状況でも強力な性能（DSC 0.748）を維持し、一貫性のある一般化性能を示した。
• 定性的な結果では、特に単一モダリティ状況下で、ModDrop よりも誤検出および見逃しの少ない病変分類が実現された。