[論文レビュー] Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation

Kelei He, Wen Ji+8 more|arXiv (Cornell University)|May 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 4

ひとこと要約

本論文は、マルチモodal MRIを用いたクロスモodalな脳腫瘍セグメンテーションのための、双方向的グローバル・トゥ・ローカルな教師なしドメイン適応フレームワーク（BiGL）を提案する。両方向に画像を合成し、特徴表現におけるグローバル・トゥ・ローカルな一貫性を強制することで、BiGLはT1およびT2 MRIシーケンス間で顕著に高いセグメンテーション精度を達成し、ベンチマークデータセット上での最先端手法を大きく上回る性能を発揮する。

ABSTRACT

Accurate segmentation of brain tumors from multi-modal Magnetic Resonance (MR) images is essential in brain tumor diagnosis and treatment. However, due to the existence of domain shifts among different modalities, the performance of networks decreases dramatically when training on one modality and performing on another, e.g., train on T1 image while performing on T2 image, which is often required in clinical applications. This also prohibits a network from being trained on labeled data and then transferred to unlabeled data from a different domain. To overcome this, unsupervised domain adaptation (UDA) methods provide effective solutions to alleviate the domain shift between labeled source data and unlabeled target data. In this paper, we propose a novel Bidirectional Global-to-Local (BiGL) adaptation framework under a UDA scheme. Specifically, a bidirectional image synthesis and segmentation module is proposed to segment the brain tumor using the intermediate data distributions generated for the two domains, which includes an image-to-image translator and a shared-weighted segmentation network. Further, a global-to-local consistency learning module is proposed to build robust representation alignments in an integrated way. Extensive experiments on a multi-modal brain MR benchmark dataset demonstrate that the proposed method outperforms several state-of-the-art unsupervised domain adaptation methods by a large margin, while a comprehensive ablation study validates the effectiveness of each key component. The implementation code of our method will be released at \url{https://github.com/KeleiHe/BiGL}.

研究の動機と目的

• モデルが1つのモダリティで学習され、別のモダリティでテストされる場合に性能が低下する、異なるMRIモダリティ（例：T1からT2）間のドメインシフトの課題に対処すること。
• 従来の教師なしドメイン適応（UDA）手法に見られる限界、例えば単方向の適応、非効率な特徴一致、腫瘍特異的構造的変動の処理が不十分であるという点を克服すること。
• ラベルなしのターゲットモダリティデータに対して、ラベル付きのソースモダリティデータのみを用いても高精度なセグメンテーションを実現できる柔軟で汎用性の高いフレームワークを開発すること。
• 双方向の画像合成とマルチスケールでアテンションを用いた表現一致を統合することで、モデルの一般化能力を向上させること。

提案手法

• 両方のドメイン（ソースおよびターゲット）に対して画像を合成する双方向の画像間変換モジュールを導入し、ドメインギャップを埋める。
• 共通の重みを有するエンコーダ・デコーダのセグメンテーションネットワークを採用し、元の画像および合成画像の両方に対して腫瘍マスクを予測することで、共同最適化を可能にする。
• アテンション機構を用いて、グローバルおよびローカルの両レベルで特徴をドメイン間で一致させる、グローバル・トゥ・ローカルな一貫性学習モジュールを適用する。
• 画像変換ブランチで adversarial training を用いることで、モダリティ固有の画像の現実的で信頼性の高い合成を保証する。
• 判別的な腫瘍領域に注目し、関係のないバックグラウンド特徴を抑制するため、アテンションを用いた特徴一致を組み込む。
• 複数のレベルで元の画像と合成画像の間の一貫性を強制することで、モデルのロバストネスと一般化能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MRIモダリティ間で双方向の画像合成が、教師なしドメイン適応下でのクロスモダリティ腫瘍セグメンテーション性能を向上させ得るか？
• RQ2 グローバル・トゥ・ローカルな特徴一致は、大きなドメインシフトを示すドメイン間で表現の一貫性とセグメンテーション精度をどのように向上させるか？
• RQ3 ドメイン適応にアテンション機構を組み込むことで、適応過程における腫瘍関連領域への注目能力が向上するか？
• RQ4 本手法は、脳腫瘍および心臓構造部のデータセットにおいて、最先端のUDA手法と比較してセグメンテーション性能で優れているか？
• RQ5 本フレームワークは、再トレーニングなしにT1およびFLAIRなどの他のMRIシーケンスへ一般化可能か？

主な発見

• BraTS 2018データセットにおいて、BiGLはT1からT2への適応で平均DSCが10.9%を達成し、SIFA-TMIやCycadaを含むすべてのベースラインを上回った。T2からT1への適応では5.4%のDSCを記録した。
• MMWHSにおけるクロスモダリティ心臓構造部セグメンテーションでは、MRからCTへの適応でDSCが75.3%、ASDが6.2mmを達成し、AAクラスにおいてSIFA-TMIを6.4%上回った。
• SIFA-TMIやAdaptSegNetと比較して、ASDが1.5–2.0 mm低減され、より正確な輪郭予測が得られた。
• アブレーションスタディにより、双方向合成とグローバル・トゥ・ローカルな一貫性学習の両方が性能向上に不可欠であることが確認された。
• 可視化結果から、多様なモダリティペアに対して本手法が強固であることが示され、正解に近い顕著に改善されたセグメンテーションホログラムが得られた。
• 実装コードは https://github.com/KeleiHe/BiGL で公開されており、再現性が確保され、他の医療画像処理タスクへの応用も可能である。