[論文レビュー] Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network

Zizhao Zhang, Lin Yang+1 more|arXiv (Cornell University)|Feb 27, 2018

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 53

ひとこと要約

3DのエンドツーエンドGANフレームワークを提案。クロスモダリティの医用ボリューム（CT/MRI）を同時に翻訳し、サイクルおよび形状一貫性の損失とオンラインの合成データ拡張を取り入れることでセグメンテーションを向上させる。

ABSTRACT

Synthesized medical images have several important applications, e.g., as an intermedium in cross-modality image registration and as supplementary training samples to boost the generalization capability of a classifier. Especially, synthesized computed tomography (CT) data can provide X-ray attenuation map for radiation therapy planning. In this work, we propose a generic cross-modality synthesis approach with the following targets: 1) synthesizing realistic looking 3D images using unpaired training data, 2) ensuring consistent anatomical structures, which could be changed by geometric distortion in cross-modality synthesis and 3) improving volume segmentation by using synthetic data for modalities with limited training samples. We show that these goals can be achieved with an end-to-end 3D convolutional neural network (CNN) composed of mutually-beneficial generators and segmentors for image synthesis and segmentation tasks. The generators are trained with an adversarial loss, a cycle-consistency loss, and also a shape-consistency loss, which is supervised by segmentors, to reduce the geometric distortion. From the segmentation view, the segmentors are boosted by synthetic data from generators in an online manner. Generators and segmentors prompt each other alternatively in an end-to-end training fashion. With extensive experiments on a dataset including a total of 4,496 CT and magnetic resonance imaging (MRI) cardiovascular volumes, we show both tasks are beneficial to each other and coupling these two tasks results in better performance than solving them exclusively.

研究の動機と目的

• CTとMRI間の翻訳のためのペアリングされたクロスモダリティ医用ボリュームの不足に対処する。
• 翻訳中の解剖学的形状を形状一貫性で保持する3D GANフレームワークを開発する。
• 生成器とセグメンテータを共同訓練して合成データを活用しセグメンテーション性能を向上させる。
• オンラインでの合成データの使用が翻訳品質とセグメンテーションの両方でオフライン拡張より優れていることを実証する。
• 大規模な心血管CT/MRIデータセットでアプローチを検証し、翻訳とセグメンテーションの相互利益を示す。

提案手法

• 2つの生成器G_AとG_Bを用いてクロスドメインボリューム翻訳を行い、識別器D_AとD_Bを用いる。
• サイクル一貫性損失を適用し、G_A(G_B(x_A)) ≈ x_A および G_B(G_A(x_B)) ≈ x_B を保証。
• シェイプ一貫性損失をセグメータS_AとS_Bを介して導入し、翻訳データを共通の形状空間Yに写像し、クロスエントロピー損失を計算。
• セグメータ S_A と S_B を実データとオンラインの合成データの両方で訓練してセグメンテーションを向上させ、再構成された合成データを含む。
• 敵対的損失、サイクル一貫性損失、形状一貫性損失を結合して L = L_GAN + L_GAN + λ L_cyc + γ L_shape のジョイント目的関数とする。
• エンドツーエンド訓練を提供し、生成器とセグメータがお互いを強化する。

実験結果

リサーチクエスチョン

• RQ1 非ペアのCTとMRIデータを3D体積でモダリティ間に翻訳しつつ解剖学的形状を保持できるか。
• RQ2 形状一貫性制約を導入することで、サイクル一貫性のみよりクロスモダリティ翻訳品質が向上するか。
• RQ3 オンラインで結合訓練フレームワークで生成された合成データは、オフライン拡張よりセグメンテーション性能を改善できるか。
• RQ4 生成器とセグメータを共同訓練することで翻訳品質とセグメンテーション精度にどのような影響があるか。

主な発見

手法	CT Dice (%)	MRI Dice (%)
Baseline (R)	67.8	70.3
ADA (R+S)	66.0	71.0
Ours (R+S)	74.4	73.2

• Shape-consistencyは翻訳品質を向上させ、形状品質スコア（S-score）は形状一貫性なしより高くなる。
• オンラインでのオンライン合成データの使用は、ベースラインとオフライン拡張を大幅に上回るセグメンテーション性能をもたらす。
• 4,496件の心血管CT/MRIデータセットで、本手法は合成データを使用した場合CTのDiceが74.4%、MRIが73.2%で、ベースラインおよびADAベースラインより高い。
• Shape-consistency-enabled generator modelsはCycleGANベースラインよりアーティファクトが少なく解剖学的保存が良い。
• 生成器とセグメータを共同訓練することで、翻訳とセグメンテーションを別々に解くより全体的な結果が良くなる。