[論文レビュー] Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth

Yuankai Huo, Zhoubing Xu+4 more|arXiv (Cornell University)|Dec 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 7被引用数 11

ひとこと要約

本稿では、ターゲットモダリティ（CT）における手動セグメンテーションラベルを一切必要とせず、非ペairedなMRIからCTへの画像合成とCTにおける脾臓セグメンテーションを統合的に実行するエンド・ツー・エンドのディーブラーニングフレームワーク、EssNetを提案する。敵対的合成とセグメンテーションを統合したユニフィードネットワークにより、EssNetは中央値として0.9188のDice類似係数を達成し、2段階手法（0.8801）および真値ラベルを用いた教師ありベースラインを上回った。

ABSTRACT

A lack of generalizability is one key limitation of deep learning based segmentation. Typically, one manually labels new training images when segmenting organs in different imaging modalities or segmenting abnormal organs from distinct disease cohorts. The manual efforts can be alleviated if one is able to reuse manual labels from one modality (e.g., MRI) to train a segmentation network for a new modality (e.g., CT). Previously, two stage methods have been proposed to use cycle generative adversarial networks (CycleGAN) to synthesize training images for a target modality. Then, these efforts trained a segmentation network independently using synthetic images. However, these two independent stages did not use the complementary information between synthesis and segmentation. Herein, we proposed a novel end-to-end synthesis and segmentation network (EssNet) to achieve the unpaired MRI to CT image synthesis and CT splenomegaly segmentation simultaneously without using manual labels on CT. The end-to-end EssNet achieved significantly higher median Dice similarity coefficient (0.9188) than the two stages strategy (0.8801), and even higher than canonical multi-atlas segmentation (0.9125) and ResNet method (0.9107), which used the CT manual labels.

研究の動機と目的

• 画像モダリティ間でのディーブラーニングベースの医療画像セグメンテーションの一般化可能性の制限に取り組むこと。
• ソースモダリティ（例：MRI）からのラベルを活用することで、ターゲットモダリティ（例：CT）における手動セグメンテーションアノテーションの必要性を排除すること。
• 画像合成とセグメンテーションを別々の段階として扱うのではなく、同時に最適化することでセグメンテーション性能を向上させること。
• 合成とセグメンテーションの補完的情報を活用する統合フレームワークを構築し、より良い一般化性能を実現すること。

提案手法

• 非ペアなMRIからCTへの画像合成とCTにおける脾臓セグメンテーションを同時に実行するエンド・ツー・エンドのディープニューラルネットワーク、EssNetを提案する。
• 共有のエンコーダ・デコーダアーキテクチャに、CycleGANベースの画像変換モジュールとセグメンテーションヘッドを統合する。
• 合成されたCT画像が現実のCTスキャンと区別がつかないほどリアルであることを保証するため、敵対的学習を用いる。
• 実際のCTラベルを一切必要とせず、MRI入力から生成された合成CT画像を用いてセグメンテーションブランチを訓練する。
• 敵対的損失、サイクル整合性損失、セグメンテーション損失を組み合わせた統合損失関数を用いて、ネットワーク全体をエンド・ツー・エンドで最適化する。
• 合成とセグメンテーションの間のフィードバックを活用して、画像変換の品質とセグメンテーションの正確性の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ターゲットモダリティの真値ラベルが存在しない状況でも、画像合成とセグメンテーションの共同最適化がセグメンテーション性能を向上させられるか？
• RQ2 非ペアなモダリティ変換において、エンド・ツー・エンド学習は2段階学習に比べてセグメンテーション精度で優れているか？
• RQ3 MRIからCTへの合成画像分布が、実際のCTアノテーションが存在しない状況でも、セグメンテーションネットワークの学習に十分に現実的かつ有用であるか？
• RQ4 合成とセグメンテーションの相互作用が、モデルの一般化性能をどの程度向上させるか？
• RQ5 本手法は、実際のCTセグメンテーションラベルを用いた完全教師ありベースラインを上回るか？

主な発見

• EssNetは、CTにおける脾臓セグメンテーションで中央値として0.9188のDice類似係数を達成し、2段階手法（0.8801）を顕著に上回った。
• 提案されたエンド・ツー・エンドアプローチは、実CT手動ラベルを用いた標準的マルチアトラスセグメンテーション（0.9125）およびResNet（0.9107）をも上回った。
• 性能向上の結果から、合成とセグメンテーションの共同最適化が、独立した学習段階よりも効果的であることが示された。
• ターゲットモダリティに一切の手動アノテーションを必要とせず、非ペアなMRIとCT画像間で良好な一般化性能を示した。
• 敵対的合成学習が、ソースモダリティのラベルからターゲットモダリティにおけるセグメンテーションの向上に知識を効果的に転送できることを示した。
• 本フレームワークは、医療画像におけるゼロショットセグメンテーションの強力な可能性を示しており、高コストな手動ラベリングへの依存を低減できる。