[論文レビュー] Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation

Cheng Chen, Qi Dou+3 more|arXiv (Cornell University)|Jan 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 42

ひとこと要約

SIFAを紹介します。対象ドメインの注釈なしで医用画像のセグメンテーションを改善するために、画像外観変換と特徴不変学習を相乗的に組み合わせた教師なしクロスモダリティドメイン適応フレームワーク。

ABSTRACT

This paper presents a novel unsupervised domain adaptation framework, called Synergistic Image and Feature Adaptation (SIFA), to effectively tackle the problem of domain shift. Domain adaptation has become an important and hot topic in recent studies on deep learning, aiming to recover performance degradation when applying the neural networks to new testing domains. Our proposed SIFA is an elegant learning diagram which presents synergistic fusion of adaptations from both image and feature perspectives. In particular, we simultaneously transform the appearance of images across domains and enhance domain-invariance of the extracted features towards the segmentation task. The feature encoder layers are shared by both perspectives to grasp their mutual benefits during the end-to-end learning procedure. Without using any annotation from the target domain, the learning of our unified model is guided by adversarial losses, with multiple discriminators employed from various aspects. We have extensively validated our method with a challenging application of cross-modality medical image segmentation of cardiac structures. Experimental results demonstrate that our SIFA model recovers the degraded performance from 17.2% to 73.0%, and outperforms the state-of-the-art methods by a significant margin.

研究の動機と目的

• MRとCTなど医用画像モダリティ間のセグメンテーションタスクにおける顕著なドメインシフトに対処する。
• 画像外観変換と特徴レベルのドメイン整合を組み合わせた教師なしフレームワークを開発する。
• 画像適応と特徴適応を横断して表現を共有し、エンドツーエンドのゼロアノテーション転送を可能にする。
• クロスモダリティの心臓構造セグメンテーションで有効性を示し、Dice/ ASD指標で既存手法を上回る。

提案手法

• サイクル整合性を持つ生成対向ネットワークを用いて、ソースドメインの画像をターゲットに類似した外観へ変換する画像適応を用いる。
• コンパクトな空間に識別器を導入して特徴アダプタを共同訓練する：意味予測空間と生成画像空間。
• 画像適応と特徴適応の間でエンコーダを共有し、統一されたドメイン不変表現を学習する。
• 医療データのクラス不均衡に対処するため、クロスエントロピーとDiceのハイブリッドセグメンテーション損失で最適化する。
• エンドツーエンドの敵対的学習フレームワーク内で、3つの識別器（D_t, D_s, D_p）と2つの生成器（G_t, G_s）を活用する。
• 画像翻訳、識別器、エンコーダ、分類器、デコーダ、特徴空間識別器を更新する交互的なシーケンスで訓練する。）

実験結果

リサーチクエスチョン

• RQ1 ターゲットアノテーションなしで、相乗的でエンドツーエンドの画像と特徴の適応が、医用画像セグメンテーションのクロスモダリティドメインギャップを縮小できるか？
• RQ2 特徴エンコーダの共有は、画像外観変換と特徴不変性学習の相互利益を生むか？
• RQ3 コンパクト空間の識別器（意味空間と生成画像空間）は、画像のみ・特徴のみの手法を超えてどれだけドメイン不変な特徴学習を改善するか？
• RQ4 MRからCTへの心臓構造セグメンテーションのような難しいクロスモダリティタスクに対して、このフレームワークは有効か？

主な発見

• SIFAは、MRからCTのセグメンテーションで、適応なしの17.2% Diceから平均73.0% Dice（4つの心臓構造）まで回復させる。
• SIFAは心臓セグメンテーションタスクにおいて、DiceとASD指標の両方で最先端の教師なしドメイン適応手法を上回る。
• 画像適応だけでも substantial gains; 意味予測空間での特徴適応を追加すると性能がさらに向上し、生成元空間適応を追加すると最良の結果となる。
• CyCADAと比較して、SIFAはLVCとMYO構造で優れた性能を示し、相乗的かつ双方向の適応フレームワークの利点を示唆している。
• アブレーションでは、画像適応と2つの特徴適応コンポーネントを組み合わせることで、最も強い Dice スコアの改善（平均 Dice 73.0）を得られることが示された。