[論文レビュー] Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation

Cheng Chen, Qi Dou+3 more|arXiv (Cornell University)|Feb 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用数 10

ひとこと要約

本稿では、共通のエンコーダーを用いて敵対的学習により画像間変換と特徴レベルのドメイン不変性を同時に最適化することで、クロスモodalな分布を包括的に整合させる、医療画像セグメンテーション向けの新規非教師付きドメイン適応フレームワークSIFAを提案する。MRI-CT心臓および腹部セグメンテーションにおいて評価された結果、教師なしで双方向の適応が可能であり、ターゲットデータのアノテーションを一切必要としないにもかかわらず、最先端の手法を著しく上回り、Diceスコアが向上した。

ABSTRACT

Unsupervised domain adaptation has increasingly gained interest in medical image computing, aiming to tackle the performance degradation of deep neural networks when being deployed to unseen data with heterogeneous characteristics. In this work, we present a novel unsupervised domain adaptation framework, named as Synergistic Image and Feature Alignment (SIFA), to effectively adapt a segmentation network to an unlabeled target domain. Our proposed SIFA conducts synergistic alignment of domains from both image and feature perspectives. In particular, we simultaneously transform the appearance of images across domains and enhance domain-invariance of the extracted features by leveraging adversarial learning in multiple aspects and with a deeply supervised mechanism. The feature encoder is shared between both adaptive perspectives to leverage their mutual benefits via end-to-end learning. We have extensively evaluated our method with cardiac substructure segmentation and abdominal multi-organ segmentation for bidirectional cross-modality adaptation between MRI and CT images. Experimental results on two different tasks demonstrate that our SIFA method is effective in improving segmentation performance on unlabeled target images, and outperforms the state-of-the-art domain adaptation approaches by a large margin.

研究の動機と目的

• MRI や CT のような画像モダリティの違いによって引き起こされる深刻なドメインシフトを解消すること。
• ラベル付きターゲットデータを一切必要としない非教師付きドメイン適応の性能を向上させること。
• 画像レベルと特徴レベルのドメイン整合を統合的に1つのエンドツーエンドフレームワークに統合し、相乗効果を生み出すこと。
• MRI と CT モダリティ間で双方向の適応を可能にし、MRI から CT および CT から MRI への変換をサポートすること。
• 敵対的学習とサイクル整合性を活用して、異種の医療画像データに対するモデルの汎化性能を向上させること。

提案手法

• 画像と特徴レベルの整合の両方のブランチに共通の特徴エンコーダーを採用することで、エンドツーエンド学習と相互利益を実現する。
• 画像レベルの整合は、サイクル整合性損失を伴うCycleGAN風の生成的敵対的ネットワークにより実現され、ソースドメインの画像（例：MRI）をターゲットドメインの外観（例：CT）に変換する。
• 特徴レベルの整合は、ソースに近い画像とセグメンテーション予測からの本物／偽物の特徴を区別する複数の識別器を用いて強制する。
• エンコーダーの複数の段階に識別器を配置することで、深層監視を実施し、特徴レベルのドメイン不変性を強化する。
• 敵対的損失、サイクル整合性損失、セグメンテーション交差エントロピー損失を統合的に最適化することで、画像変換とセグメンテーションの両方を同時に最適化する。
• 訓練中にソースとターゲットの役割を交互に入れ替えることで、双方向適応が可能となり、モダリティ間のゼロショット転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 画像と特徴の分布の統合的整合が、クロスモダリティ医療画像セグメンテーションにおける非教師付きドメイン適応をどのように向上させるか？
• RQ2 画像変換と特徴整合を同時に最適化することで、個別に最適化する手法と比較して、セグメンテーション性能にどのような影響を与えるか？
• RQ3 共通のエンコーダーが、統合フレームワーク内での画像適応と特徴適応の相互利益をどの程度高められるか？
• RQ4 本手法は、心臓と腹部臓器の異なる解剖的領域やセグメンテーションタスクに一般化可能か？
• RQ5 ラベル付きターゲットデータが一切ない状況でも、本フレームワークは強力な性能を達成できるか？

主な発見

• SIFA は心臓部の微細構造セグメンテーションにおいて最先端の性能を達成し、MRI で平均 Dice スコア 90.9、CT で 83.6 を記録。ターゲットドメインにおいても教師ありベースラインを上回った。
• 腹部多臓器セグメンテーションにおいて、既存の非教師付きドメイン適応手法よりも顕著に精度が向上し、複雑な解剖的構造に対しても頑健であることが示された。
• MRI から CT への適応および CT から MRI への適応の両方において、先行する最先端手法を大きく上回り、双方向適応の有効性が裏付けられた。
• アブレーションスタディの結果、画像または特徴の整合を削除すると性能が低下し、両者の相乗的貢献が検証された。
• MRI と CT スキャン間で大きな分布シフトがある場合でも、本フレームワークは高い性能を維持した。