[論文レビュー] SMU-Net : Style matching U-Net for brain tumor segmentation with missing modalities

Reza Azad, Nika Khosravi+1 more|arXiv (Cornell University)|Jan 1, 2022

Brain Tumor Detection and Classification被引用数 20

ひとこと要約

SMU-Net は、コンテンツ・スタイルマッチングを用いて、完全モダリティ脳腫瘍セグメンテーションモデルから欠損モダリティネットへ情報を抽出する共同学習U-Netアーキテクチャを提案する。特徴量をコンテンツとスタイルの表現に分解し、敵対的スタイルマッチングを適用することで、BraTS 2018 で最先端の性能を達成し、単一モダリティ設定では従来手法より最大20%の向上を達成した。

ABSTRACT

Gliomas are one of the most prevalent types of primary brain tumours, accounting for more than 30\% of all cases and they develop from the glial stem or progenitor cells. In theory, the majority of brain tumours could well be identified exclusively by the use of Magnetic Resonance Imaging (MRI). Each MRI modality delivers distinct information on the soft tissue of the human brain and integrating all of them would provide comprehensive data for the accurate segmentation of the glioma, which is crucial for the patient's prognosis, diagnosis, and determining the best follow-up treatment. Unfortunately, MRI is prone to artifacts for a variety of reasons, which might result in missing one or more MRI modalities. Various strategies have been proposed over the years to synthesize the missing modality or compensate for the influence it has on automated segmentation models. However, these methods usually fail to model the underlying missing information. In this paper, we propose a style matching U-Net (SMU-Net) for brain tumour segmentation on MRI images. Our co-training approach utilizes a content and style-matching mechanism to distill the informative features from the full-modality network into a missing modality network. To do so, we encode both full-modality and missing-modality data into a latent space, then we decompose the representation space into a style and content representation. Our style matching module adaptively recalibrates the representation space by learning a matching function to transfer the informative and textural features from a full-modality path into a missing-modality path. Moreover, by modelling the mutual information, our content module surpasses the less informative features and re-calibrates the representation space based on discriminative semantic features. The evaluation process on the BraTS 2018 dataset shows a significant results.

研究の動機と目的

• 推論時に1つ以上のMRIモダリティ（T1、T1c、T2、FLAIR）が欠損している状況における脳腫瘍セグメンテーションの課題に対処すること。
• 既存手法が欠損モダリティにおけるモダリティ固有のテクスチャおよびスタイル情報を再構築できないという限界を克服すること。
• 完全モダリティモデルからの知識 distillation を活用することで、低データまたは不完全なMRI状況における一般化性能を向上させること。
• 単一モダリティのみが利用可能な場合でも高いセグメンテーション精度を維持できる統合フレームワークの構築。
• セグメンテーション、一貫性、スタイル、コンテンツ損失の共同最適化を可能にするエンドツーエンド学習による頑健な特徴量学習の実現。

提案手法

• 完全モダリティU-Netと欠損モダリティU-Netを共同で学習させる共同学習戦略を採用し、情報を抽出する。
• 各モダリティパスに対して別個のエンコーダーを用いて、符号化された特徴量をコンテンツ表現とスタイル表現に分解する。
• 完全モダリティパスから欠損モダリティパスへテクスチャおよび構造的特徴量を転送する非線形関数を学習する敵対的スタイルマッチングモジュールを実装する。
• 情報量が少ない特徴量を抑制し、判別性の高い意味的表現を強調するために、コンテキスト損失（Lcontent）を適用する。
• 潜在表現の整合性を保つために、2つのパス間の特徴量一貫性を強制する一貫性損失（Lconsistency）を適用する。
• セグメンテーション、一貫性、スタイル、コンテンツ損失を組み合わせた共同損失関数を用い、学習可能パラメータ（λ1–λ4）を含めて、ネットワーク全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 完全モダリティセグメンテーションモデルから欠損モダリティネットへ知識を効果的に転送できる共同学習フレームワークは、実現可能か？
• RQ2 特徴量表現をコンテンツとスタイルのコンponentsに分離することで、欠損モダリティセグメンテーションタスクの性能が向上するか？
• RQ3 分布ベースやテクスチャベースのスタイル転送と比較して、敵対的スタイルマッチングは、欠損MRIモダリティ特徴量の再構築においてどの程度効果的か？
• RQ4 コンテンツベースの特徴量再キャリブレーションは、モダリティ情報が不完全な状況で、セグメンテーション精度をどの程度向上させるか？
• RQ5 提案手法は、現実的な欠損モダリティ条件下でBraTS 2018で最先端の性能を達成できるか？

主な発見

• 完全モダリティ設定下で、SMU-Net は全腫瘍（WT）指標において平均Diceスコア88.4を達成し、U-HeMIS（85.7）、HVED（87.3）、ACN（87.5）を上回った。
• 単一モダリティ設定下では、SMU-Net は全腫瘍（WT）のDiceスコアが87.9であり、U-HeMIS や HVED といったベースライン手法より20%の向上を達成した。
• 敵対的スタイルマッチングモジュールが最良の性能（WTのDiceスコア88.4）を示し、分布ベース（87.0）およびテクスチャベース（86.5）の代替手法を上回った。
• アブレーションスタディの結果、コンテンツモジュールを削除すると性能が1–2%低下し、非判別的特徴量の抑制におけるその役割が裏付けられた。
• すべてのモジュールを備えたSMU-Netは、全指標（WT、CT、ET）の平均Diceスコア68.47を達成し、アブレーションバージョンを著しく上回った。
• 定性的な結果から、SMU-Net は入力として1つのMRIモダリティしか与えられていない場合でも、正確で妥当なセグメンテーションマップを生成することが示された。