[論文レビュー] Unsupervised Cross-Modality Domain Adaptation of ConvNets for Biomedical Image Segmentations with Adversarial Loss

Qi Dou, Cheng Ouyang+3 more|arXiv (Cornell University)|Apr 29, 2018

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 33

ひとこと要約

本論文は、MRIで訓練された畳み込みニューラルネットワークを、ラベルなしの対応のないCTデータに転移するための、敵対的学習を用いた教師なしクロスモダリティドメイン適応フレームワークを提案する。ドメイン適応モジュール（DAM）とドメインクリティックモジュール（DCM）を導入し、ターゲットアノテーションを一切使用せずに敵対的損失によって訓練することで、心臓構造分類において平均Diceスコアを43.4%向上させ、顕著なドメインシフトが存在する中でも強力な性能を示した。

ABSTRACT

Convolutional networks (ConvNets) have achieved great successes in various challenging vision tasks. However, the performance of ConvNets would degrade when encountering the domain shift. The domain adaptation is more significant while challenging in the field of biomedical image analysis, where cross-modality data have largely different distributions. Given that annotating the medical data is especially expensive, the supervised transfer learning approaches are not quite optimal. In this paper, we propose an unsupervised domain adaptation framework with adversarial learning for cross-modality biomedical image segmentations. Specifically, our model is based on a dilated fully convolutional network for pixel-wise prediction. Moreover, we build a plug-and-play domain adaptation module (DAM) to map the target input to features which are aligned with source domain feature space. A domain critic module (DCM) is set up for discriminating the feature space of both domains. We optimize the DAM and DCM via an adversarial loss without using any target domain label. Our proposed method is validated by adapting a ConvNet trained with MRI images to unpaired CT data for cardiac structures segmentations, and achieved very promising results.

研究の動機と目的

• MRIからCTへの画像モダリティ間で顕著に異なるデータ分布（撮影物理学的要因による）を受けるドメインシフトの課題に対処すること。
• 追加のラベル付きCTアノテーションを必要とせずに、事前に訓練されたMRI分類モデルをCTデータに効果的に転送できること。
• 敵対的学習を用いて特徴量レベルで動作する、柔軟でプラグアンドプレイなドメイン適応フレームワークを構築すること。
• 臨床現場における大規模なモダリティ間ドメインシフトを想定した現実世界のシナリオにおいて、教師なしドメイン適応の実現可能性と有効性を検証すること。

提案手法

• ソース（MRI）ドメインにおけるピxls単位の分類予測に、拡張畳み込みニューラルネットワークが用いられる。
• ターゲット（CT）ドメインの特徴量をソース（MRI）ドメインの特徴空間にマッピングするため、プラグアンドプレイなドメイン適応モジュール（DAM）が導入される。
• ドメインクリティックモジュール（DCM）は畳み込みネットワークとして実装され、ソースドメイン特徴量と適応済みターゲットドメイン特徴量を区別する。
• DAMとDCMは、ミニマックスゲームとして定式化された敵対的損失を用いて同時に訓練され、ターゲットラベルなしでエンドツーエンドの教師なし適応が可能になる。
• 適応深さdは、ネットワーク内でDAMに置き換えられる層の数を制御するハイパーパrameterであり、アンブレーションスタディにより最適化される。
• 本フレームワークは、対応のないMRIおよびCTデータセットを用いて心臓分類タスクで訓練および評価され、評価指標としてDiceスコアとASDが用いられる。

実験結果

リサーチクエスチョン

• RQ1 顕著なドメインシフトが存在するにもかかわらず、対応のないCTデータに教師なしドメイン適応を用いて事前に訓練されたMRI分類モデルを効果的に転送できるか？
• RQ2 ドメイン適応の深さ（d）が、クロスモダリティバイオメディカル画像分類における分類性能にどのように影響するか？
• RQ3 ターゲットアノテーションなしで、敵対的学習のみでMRIとCTモダリティ間の特徴量分布をどれだけ効果的に統合できるか？
• RQ4 本手法は、教師あり微調整およびベースラインゼロショット転送と比較して、心臓構造分類の精度においてどのように優れているか？
• RQ5 心臓分類において、どの解剖的構造がクロスモダリティ適応において最も困難であり、その理由は何か？

主な発見

• 提案手法は、対応のないCTデータにMRIから転移する際、4つの心臓構造で平均してDiceスコアを43.4%向上させ、ドメイン適応なしのベースラインモデルと比較して顕著な改善を示した。
• 適応深さd=21のSeg-CT-UDAモデルは、上行大動脈（AA）でDiceスコア0.80を達成し、教師あり微調整モデル（Seg-CT-STL）に近い性能を示し、境界および幾何的パターンの学習が効果的に行われたことを示した。
• d=21のモデルは、4つの心臓構造のうち3つでd=13およびd=31のモデルを上回り、中程度の適応深さが能力と訓練安定性の最適なバランスを提供していることを示した。
• Seg-CT-UDAモデルは、ベースラインのSeg-CT-noDA（左心室血液腔でDiceスコア0.8%）を著しく上回り、クロスモダリティ転送においてドメイン適応の必要性を強く示した。
• 左心室血液腔や左心室筋膜のような高解剖的複雑性・低コントラスト構造で、境界ノイズや明確でない組織コントラストの影響を受けるものの、本手法は有望な分類結果を達成した。
• アンブレーションスタディにより、適応深さを増すことで性能が向上するが、一定の点を過ぎると劣化する傾向が確認され、d=31はd=13を上回ることで、より深い特徴量レベルの適応がドメイン整合性を高めることを示した。