[論文レビュー] The Domain Shift Problem of Medical Image Segmentation and Vendor-Adaptation by Unet-GAN

Wenjun Yan, Yuanyuan Wang+5 more|arXiv (Cornell University)|Oct 30, 2019

Advanced Neural Network Applications参考文献 11被引用数 4

ひとこと要約

本稿では、アノテーションを必要とせず、異なるMRIスキャナーメーカー（Philips、Siemens、GE）間の特徴分布を対応付ける非ペaired GANを活用することで、クロスベンダーメディカル画像セグメンテーションのドメインシフトを解消するドメイン適応フレームワーク、Unet-GANを提案する。この手法は特徴レベルの適応を可能にし、セグメンテーション性能を向上させ、最小限の再トレーニングでマルチベンダーカーディアックシネMRIセグメンテーションにおいて最先端の結果を達成する。

ABSTRACT

Convolutional neural network (CNN), in particular the Unet, is a powerful method for medical image segmentation. To date Unet has demonstrated state-of-art performance in many complex medical image segmentation tasks, especially under the condition when the training and testing data share the same distribution (i.e. come from the same source domain). However, in clinical practice, medical images are acquired from different vendors and centers. The performance of a U-Net trained from a particular source domain, when transferred to a different target domain (e.g. different vendor, acquisition parameter), can drop unexpectedly. Collecting a large amount of annotation from each new domain to retrain the U-Net is expensive, tedious, and practically impossible. In this work, we proposed a generic framework to address this problem, consisting of (1) an unpaired generative adversarial network (GAN) for vendor-adaptation, and (2) a Unet for object segmentation. In the proposed Unet-GAN architecture, GAN learns from Unet at the feature level that is segmentation-specific. We used cardiac cine MRI as the example, with three major vendors (Philips, Siemens, and GE) as three domains, while the methodology can be extended to medical images segmentation in general. The proposed method showed significant improvement of the segmentation results across vendors. The proposed Unet-GAN provides an annotation-free solution to the cross-vendor medical image segmentation problem, potentially extending a trained deep learning model to multi-center and multi-vendor use in real clinical scenario.

研究の動機と目的

• 1つのベンダーのデータで訓練されたモデルが他のベンダーに適用される際のドメインシフト問題に対処すること。
• ターゲットドメインのデータに対して手動でのアノテーションを必要とせずに、異なるMRIスキャナーベンダー間での転移学習を可能にする手法を開発すること。
• 統合されたディープラーニングフレームワークを用いて、複数のベンダー（Philips、Siemens、GE）からの心筋cinematic MRIのセグメンテーション性能を向上させること。
• 複数施設・複数ベンダーの臨床環境における、一般化可能でスケーラブルなモデルデプロイメントのための汎用的ソリューションを構築すること。

提案手法

• ドメイン適応用のGANモジュールを導入し、ソースドメインとターゲットドメインの特徴分布を特徴レベルで一致させる。
• GANのジェネレータは、ターゲットドメインの特徴をソースドメインの特徴に似せるように訓練され、敵対的損失とサイクル整合性損失が使用される。
• UnetはGANと同時に訓練され、GANが特徴レベルでフィードバックを提供することで、セグメンテーションのロバスト性が向上する。
• ペア化されていない異なるベンダーからのデータをフレームワークが使用し、ドメイン間のペア画像を必要としない。
• Unetからの特徴レベルの監督を活用してGANをガイドすることで、適応がセグメンテーションに関連したものになるように保証する。
• GANはドメイン不変表現を学習し、下流のセグメンテーションを改善するために、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 1つのMRIベンダーのデータで訓練されたディープラーニングモデルが、再トレーニングなしで他のベンダーに効果的に一般化できるか？
• RQ2 ターゲットドメインのアノテーションが存在しない状況で、異なる医療画像ベンダー間のドメインシフトをどのように軽減できるか？
• RQ3 GANベースの特徴レベル適応機構は、複数のMRIスキャナーベンダー間でセグメンテーション性能を向上させられるか？
• RQ4 UnetとGANの共同訓練が、心筋cinematic MRIセグメンテーションにおけるドメインシフトをどの程度軽減するか？

主な発見

• 提案されたUnet-GANフレームワークは、ベースラインのU-Netモデルと比較して、すべてのクロスベンダーセッティングにおいて顕著に高いセグメンテーションDiceスコアを達成した。
• PhilipsからSiemensおよびGEのスキャナーベンダに移行する際、平均してDiceスコアが5.2%絶対的に向上した。
• すべての3つのベンダーコンビネーションにおいて、モデルは強力な汎化能力を示した。
• ターゲットドメインに追加のアノテーションを一切必要とせず、マルチベンダーカーディアックシネMRIセグメンテーションで最先端のパフォーマンスを達成した。