[論文レビュー] PnP-AdaNet: Plug-and-Play Adversarial Domain Adaptation Network with a Benchmark at Cross-modality Cardiac Segmentation

Qi Dou, Cheng Ouyang+5 more|arXiv (Cornell University)|Dec 19, 2018

COVID-19 diagnosis using AI参考文献 39被引用数 45

ひとこと要約

PnP-AdaNetは、MRIベースのセグメンテーションモデルをCT（そしてその逆）へ適応させるプラグアンドプレイ型の敵対的ドメイン適応アプローチを開発し、クロスモダリティ心臓セグメンテーションの新しいベンチマークと広範なアブレーションを提供します。

ABSTRACT

Deep convolutional networks have demonstrated the state-of-the-art performance on various medical image computing tasks. Leveraging images from different modalities for the same analysis task holds clinical benefits. However, the generalization capability of deep models on test data with different distributions remain as a major challenge. In this paper, we propose the PnPAdaNet (plug-and-play adversarial domain adaptation network) for adapting segmentation networks between different modalities of medical images, e.g., MRI and CT. We propose to tackle the significant domain shift by aligning the feature spaces of source and target domains in an unsupervised manner. Specifically, a domain adaptation module flexibly replaces the early encoder layers of the source network, and the higher layers are shared between domains. With adversarial learning, we build two discriminators whose inputs are respectively multi-level features and predicted segmentation masks. We have validated our domain adaptation method on cardiac structure segmentation in unpaired MRI and CT. The experimental results with comprehensive ablation studies demonstrate the excellent efficacy of our proposed PnP-AdaNet. Moreover, we introduce a novel benchmark on the cardiac dataset for the task of unsupervised cross-modality domain adaptation. We will make our code and database publicly available, aiming to promote future studies on this challenging yet important research topic in medical imaging.

研究の動機と目的

• モダリティ間の心臓セグメンテーションの教師なしドメイン適応の課題（MRIからCTへ、及びその逆）に取り組む。
• 初期エンコーダ層を置き換えつつ高次層を共有する柔軟なプラグアンドプレイ型ドメイン適応機構を提案する。
• 多段階特徴とマスク識別器を用いた敵対的学習を活用して潜在空間を整合させる。
• 心臓セグメンテーションのベンチマークで手法を検証し、包括的なアブレーションと公開データセット/コードのリリースを提供する。
• 医用画像における今後のモダリティ間ドメイン適応研究を促進するためのベンチマークを確立する。

提案手法

• MRI上で拡張畳み込みネットワークを用いたソースドメインのセグメンテーションネットワークを訓練し、Diceとクロスエントロピーの組み合わせ損失を用いる。
• ターゲットドメインデータを処理する際に初期層を置換するドメイン適応モジュール（DAM）を導入し、高次層を共有のままにする。
• マルチレベル特徴上の特徴識別器と予測されたセグメンテーションマスク上のマスク識別器の2つの識別器を用いて特徴とマスクを整合させる。両者はWasserstein距離で。
• 複数の層からの活性化を統合して敵対的訓練を安定化させ、特徴空間の整合のためのディープスーパービジョンを可能にする。
• GANに類似した交互訓練方式で最適化し、識別器の事前訓練とリプシッツ制約・学習率・重みクリッピングなどの慎重なハイパーパラメータ設定を行う。
• ターゲットドメインの注釈を必要としない教師なし訓練目的を提供し、敵対的フィードバックを通じてターゲットデータをソースに類似した潜在空間へ写像する。

実験結果

リサーチクエスチョン

• RQ1 教師なしのドメイン適応はモダリティ間の心臓画像（MRIからCT）を多クラスセグメンテーションのために整合させることができるか。
• RQ2 高レベル層を共有するプラグアンドプレイの適応モジュールはMRI-CTの分布ギャップを効果的に埋められるか。
• RQ3 多段階の特徴識別器とセグメンテーションマスク識別器は潜在空間の整合とセグメンテーション品質を改善するか。
• RQ4 識別器のバランスと多段階特徴の集約が適応性能に与える影響は何か。
• RQ5 MM-WHS由来データ上で提案手法は、教師あり上限や他のドメイン適応手法と比較してどの程度性能を発揮するか。

主な発見

• 教師なしのモダリティ間適応は、MRIだけで訓練した場合のCTセグメンテーションを著しく改善し、平均Diceは13.2%（適応なし）からPnP-AdaNet後に63.9%へ上昇した。
• 本手法は大動脈のセグメンテーションの回復を大幅に進め、いくつかの構造について完全に教師あり上限に近づける。
• アブレーション実験は、2つの識別器のバランスを取り、特徴空間識別器のために複数の特徴レベルを使用することの重要性を示している。
• 4つの心臓構造に渡って、PnP-AdaNetはソースのみと比較した場合および他の競合手法よりも有意な改善を示している。
• 著者は新しいクロスモダリティ心臓セグメンテーションベンチマークを公開し、今後の研究を促進するためにコードとデータセットの公開を計画している。