[論文レビュー] Semantic-Aware Generative Adversarial Nets for Unsupervised Domain Adaptation in Chest X-ray Segmentation

Cheng Chen, Qi Dou+2 more|arXiv (Cornell University)|Jun 2, 2018

COVID-19 diagnosis using AI参考文献 16被引用数 9

ひとこと要約

本稿では、チーチX線肺画像分類における非教師付きドメイン適応のための意味的注意型生成対抗ネットワークであるSeUDAを提案する。ターゲット画像をソースドメインに類似させる一方で、ラベル空間におけるネスト型対抗損失を用いて意味的構造を保持することで、事前学習済みのソース分類ネットワークを直接適用可能な形にし、ターゲットアノテーションを一切必要とせずに、教師あり転移学習と同等の性能を達成する。

ABSTRACT

In spite of the compelling achievements that deep neural networks (DNNs) have made in medical image computing, these deep models often suffer from degraded performance when being applied to new test datasets with domain shift. In this paper, we present a novel unsupervised domain adaptation approach for segmentation tasks by designing semantic-aware generative adversarial networks (GANs). Specifically, we transform the test image into the appearance of source domain, with the semantic structural information being well preserved, which is achieved by imposing a nested adversarial learning in semantic label space. In this way, the segmentation DNN learned from the source domain is able to be directly generalized to the transformed test image, eliminating the need of training a new model for every new target dataset. Our domain adaptation procedure is unsupervised, without using any target domain labels. The adversarial learning of our network is guided by a GAN loss for mapping data distributions, a cycle-consistency loss for retaining pixel-level content, and a semantic-aware loss for enhancing structural information. We validated our method on two different chest X-ray public datasets for left/right lung segmentation. Experimental results show that the segmentation performance of our unsupervised approach is highly competitive with the upper bound of supervised transfer learning.

研究の動機と目的

• 撮影プロトコルや臨床施設の違いに起因する医療画像分類におけるドメインシフトを解消すること。
• ターゲットアノテーションを一切必要とせず、ソースドメインの分類モデルを新しいターゲットデータセットに一般化する非教師付きドメイン適応手法を開発すること。
• 肺などの解剖的構造に歪みを生じさせないよう、画像間変換中に意味的構造的整合性を保持すること。
• モデルの柔軟性とデプロイメント効率を維持しつつ、教師あり転移学習と同等の性能を達成すること。

提案手法

• 未ラベルのターゲット画像をソースドメインの外観に変換しつつも、意味的コンテンツを保持するように、CycleGANベースのフレームワークを採用する。
• 意味的ラベル空間におけるネスト型対抗学習を埋め込んだ、新規の意味的注意型損失を導入し、画像変換中の構造的一致性を向上させる。
• GAN損失（分布整合性のため）、サイクル整合性損失（ピクセルレベルのコンテンツ保持のため）、意味的注意型損失（構造的忠実性のため）の3つの損失を統合する。
• 分類ネットワークをドメイン適応プロセスから分離し、事前学習済みのソースモデルを用いて変換済みターゲット画像に対して直接推論を実行可能にする。
• 対抗損失、サイクル整合性損失、意味的注意型損失を統合してエンドツーエンドで画像変換ネットワークを学習させ、訓練の安定性と構造的保持の向上を図る。
• ソースドメインにおける高解像度で密な分類予測を実現するため、拡張畳み込みとマルチスケールブランチを備えた変更版ResNet-101バックボーンを採用する。

実験結果

リサーチクエスチョン

• RQ1 非教師付きドメイン適応手法は、胸部X線画像分類において、教師あり転移学習と同等の分類性能を達成できるか？
• RQ2 標準的なCycleGANと比較して、提案手法の意味的注意型損失は、画像間変換中に解剖的構造をどれほど効果的に保持できるか？
• RQ3 ソースドメイン分類モデルを新しいターゲットデータセットに適用した際、ドメインシフトに起因する性能劣化を、提案手法はどれほど軽減できるか？
• RQ4 分類モデルからドメイン適応プロセスを分離することで、再学習を伴わず変換済み画像に対して直接推論を実行できるか？
• RQ5 異なるランダム初期化において、提案手法はどれほど安定しており、意味的注意型損失が訓練の一貫性を向上させるか？

主な発見

• 提案手法SeUDAは、ターゲットデータセットで平均Diceスコア94.70%を達成し、ベースラインのT-noDA（79.47%）およびT-HistM（91.03%）を顕著に上回った。
• SeUDAは、平均対称的平均表面距離（ASD）をT-noDAの11.04 mmから3.51 mmにまで低減し、分類精度の向上を示した。
• SeUDAは、UDAベースラインのCyUDAを平均Diceで1.49%、ASDで1.01 mm上回り、性能のばらつきも顕著に低減された（Diceの標準偏差：0.25% vs. 2.03%）。
• SeUDAの性能は、教師あり転移学習（T-STL）と非常に近い水準であり、右肺ではDiceスコア差1.32%、左肺では2.42%にとどまった。
• 可視化結果から、SeUDAはCyUDAが肺境界を歪めてしまうのとは異なり、画像変換中も解剖的構造と臨床的兆候を良好に保持していた。
• 意味的注意型損失により訓練が安定化し、10回の実行におけるDiceおよびASDの標準偏差が顕著に低減されたことが裏付けられた。