[論文レビュー] Deep Symmetric Adaptation Network for Cross-modality Medical Image Segmentation

Xiaoting Han, Lei Qi+5 more|arXiv (Cornell University)|Jan 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 4

ひとこと要約

本稿では、2つの対称的翻訳サブネットワークで共有エンコーダーとプライベートデコーダーを用いた双方向特徴アライメントを実現する、クロスモodal医療画像セグメンテーションのためのディープ対称的適応ネットワークを提案する。本手法は、両ドメインからの実画像および変換画像を共同で訓練することで、CardiacおよびBraTSデータセットで最先端の性能を達成し、Diceスコア78.50%を達成した。

ABSTRACT

Unsupervised domain adaptation (UDA) methods have shown their promising performance in the cross-modality medical image segmentation tasks. These typical methods usually utilize a translation network to transform images from the source domain to target domain or train the pixel-level classifier merely using translated source images and original target images. However, when there exists a large domain shift between source and target domains, we argue that this asymmetric structure could not fully eliminate the domain gap. In this paper, we present a novel deep symmetric architecture of UDA for medical image segmentation, which consists of a segmentation sub-network, and two symmetric source and target domain translation sub-networks. To be specific, based on two translation sub-networks, we introduce a bidirectional alignment scheme via a shared encoder and private decoders to simultaneously align features 1) from source to target domain and 2) from target to source domain, which helps effectively mitigate the discrepancy between domains. Furthermore, for the segmentation sub-network, we train a pixel-level classifier using not only original target images and translated source images, but also original source images and translated target images, which helps sufficiently leverage the semantic information from the images with different styles. Extensive experiments demonstrate that our method has remarkable advantages compared to the state-of-the-art methods in both cross-modality Cardiac and BraTS segmentation tasks.

研究の動機と目的

• MRIとCTなどの異なる医療画像モodal間の大きなドメインシフトがセグメンテーション性能を低下させることを解消すること。
• 単一方向の翻訳や特徴アライメントに依存する非対称なUDA手法の限界を克服すること。
• ソースドメインとターゲットドメイン間で対称的に特徴をアライメントすることで、セグメンテーションの一般化性能を向上させること。
• 両ドメインからの実画像および変換画像を活用し、セマンティック特徴学習を強化すること。
• クロスモダリティ医療画像セグメンテーションタスクで最先端の性能を達成すること。

提案手法

• ソースからターゲットへの翻訳とターゲットからソースへの翻訳の両方を実行する2つの翻訳サブネットワークを備えた対称的アーキテクチャを導入する。両サブネットワークは同じエンコーダーを共有する。
• 共有エンコーダーを用いてドメイン不変特徴を学習し、プライベートデコーダーを用いて再構成損失を通じてドメイン固有の表現を学習する。
• 両ドメインで実画像と生成画像を区別するための共有ディスクラミネーターを用いた adversarial 訓練を実施し、意味的整合性を確保する。
• セグメンテーションネットワークを、実ターゲット画像、変換されたソース画像、実ソース画像、および変換されたターゲット画像を用いて訓練することで、マルチスタイルのセマンティック情報の完全な活用を図る。
• エンドツーエンドの方法で、セグメンテーションネットワークと翻訳サブネットワークを同時に最適化することで、双方向特徴アライメントを実現する。
• 両ドメインで共通のディスクラミネーターを用いることで、 adversarial 損失の一貫性を維持し、特徴の一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 双方向翻訳による対称的ドメイン適応は、非対称的手法と比較してクロスモダリティ医療画像セグメンテーションを向上させることができるか？
• RQ2 ソースドメインおよびターゲットドメインからの実画像および変換画像を共同で訓練することで、セマンティック特徴学習およびセグメンテーション精度が向上するか？
• RQ3 セグメンテーションネットワークと翻訳ネットワークの間でエンコーダーを共有することは、ドメイン不変表現学習にどのように影響するか？
• RQ4 翻訳サブネットワークでプライベートデコーダーを使用するのと共有デコーダーを使用するのとでは、性能にどのような差が出るか？
• RQ5 共有ディスクラミネーターを用いることで、実画像と生成画像間の意味的整合性をどれほど効果的に維持できるか？

主な発見

• 提案手法はBraTSデータセットでDiceスコア78.50%を達成し、最先端の手法を上回った。
• 平均表面距離（ASD）が5.92に低下し、セグメンテーション境界の正確性が向上した。
• 共有デコーダーではなくプライベートデコーダーを用いることで、Diceスコアが33.57ポイント向上（44.93%から78.50%に）。
• エンコーダーを共有することで、非共有エンコーダーを使用した場合と比較してDiceスコアが4.60ポイント向上した。
• ディスクラミネーターを共有することで、非共有ディスクラミネーターを使用した場合と比較してDiceスコアが2.36ポイント向上した。
• 本モデルはCardiacおよびBraTSデータセットの両方で顕著な性能向上を達成し、さまざまな医療画像タスクにわたる頑健性を示した。