[論文レビュー] Multi-Modality Generative Adversarial Networks with Tumor Consistency Loss for Brain MR Image Synthesis

Bingyu Xin, Yifan Hu+2 more|arXiv (Cornell University)|May 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 5

ひとこと要約

本稿では、モダリティラベルと独創的なマルチモダリティ腫瘍整合性損失を用いて、1つのT2モダリティからFLAIR、T1、T1ce脳MRIを合成するマルチモダリティ生成的対抗ネットワーク、TC-MGANを提案する。この手法は画像品質と腫瘍の保持を向上させ、ベースラインのpix2pixよりも1.8%高い腫瘍セグメンテーション精度を達成し、フルモダリティ性能に近づく。

ABSTRACT

Magnetic Resonance (MR) images of different modalities can provide complementary information for clinical diagnosis, but whole modalities are often costly to access. Most existing methods only focus on synthesizing missing images between two modalities, which limits their robustness and efficiency when multiple modalities are missing. To address this problem, we propose a multi-modality generative adversarial network (MGAN) to synthesize three high-quality MR modalities (FLAIR, T1 and T1ce) from one MR modality T2 simultaneously. The experimental results show that the quality of the synthesized images by our proposed methods is better than the one synthesized by the baseline model, pix2pix. Besides, for MR brain image synthesis, it is important to preserve the critical tumor information in the generated modalities, so we further introduce a multi-modality tumor consistency loss to MGAN, called TC-MGAN. We use the synthesized modalities by TC-MGAN to boost the tumor segmentation accuracy, and the results demonstrate its effectiveness.

研究の動機と目的

• 臨床現場におけるマルチモダリティMRIの高コストと限られた可用性に対処すること。
• 単一のソースモダリティ（T2）から、欠落している複数のMRIモダリティ（FLAIR、T1、T1ce）を合成できる統合的ディープラーニングフレームワークの開発。
• 標準的なGANベースの合成ではしばしば失われる、腫瘍の形状と空間的一致性を、合成されたモダリティ間で保持すること。
• 高精度なマルチモダリティ画像合成を通じて、下流の腫瘍セグメンテーション性能を向上させること。
• 定量的画像品質指標とセグメンテーションDICEスコアを用いて、提案手法の有効性を検証すること。

提案手法

• pix2pixのジェネレータとディスクラミネーターにモダリティラベルを導入し、1つのネットワークでT2から3つのターゲットモダリティのいずれかを合成可能にする。
• 腫瘍領域の構造的整合性を、ソース（T2）と合成モダリティ（FLAIR、T1、T1ce）間で強制するマルチモダリティ腫瘍整合性損失を採用する。
• ジェネレータが腫瘍の境界と形状を保持するよう誘導するため、セグメンテーションヘッド（Unet）を監視信号として使用する。
• GAN訓練の安定化のため勾配ペナルティ（GP）を適用し、ピixeルー単位の忠実度を維持するためL1損失を用いる。
• 敵対的損失、L1損失、モダリティ予測の分類損失、およびセグメンテーションに基づく腫瘍整合性損失を組み合わせた損失関数でジェネレータを訓練する。
• 合成用に100エポック、セグメンテーション用に30エポックの学習率スケジューリングを含む2段階訓練戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 1つのソースモダリティ（T2）から3つの異なるMRIモダリティ（FLAIR、T1、T1ce）を効果的に合成できるGANベースのモデルは、性能を発揮できるか？
• RQ2 pix2pixフレームワークにモダリティラベルを組み込むことで、複数のターゲットモダリティへの合成品質と一般化性能が向上するか？
• RQ3 マルチモダリティ腫瘍整合性損失は、標準的なGAN損失と比較して、合成MRI画像における腫瘍構造の保持を顕著に向上させられるか？
• RQ4 合成されたマルチモダリティ画像を用いることで、下流の腫瘍セグメンテーション性能はどの程度向上するか？
• RQ5 提案されたTC-MGANは、ベースラインモデル（例：pix2pix）や代替訓練戦略（例：セグメンテーションヘッドを介したエンドツーエンドバックプロパゲーション）と比較して、どのように優れているか？

主な発見

• TC-MGANは、FLAIRで24.64 ± 3.43、T1で25.78 ± 3.94、T1ceで25.68 ± 3.95のPSNRを達成し、すべての指標でベースラインのpix2pixを上回った。
• TC-MGANを用いた合成画像の構造的類似性（SSIM）は、FLAIRで0.9267 ± 0.0386、T1で0.9520 ± 0.0326、T1ceで0.9390 ± 0.0322に達し、優れた構造的保持を示した。
• TC-MGANで合成された画像を用いた腫瘍セグメンテーションでは、DICEスコアが0.7585 ± 0.3519に達し、ベースラインのpix2pix（0.7381 ± 0.3611）よりも1.8%の向上を示した。
• TC-MGANの性能は、他のあらゆる手法と比較して、フル4モダリティベースライン（DICE = 0.8142 ± 0.3003）に最も近づいており、強力なデータ拡張の可能性を示した。
• セグメンテーションヘッドを介したバックプロパゲーションを有する変種（TC-MGAN bw）は、FLAIRの画像品質がわずかに低下し、セグメンテーションスコアもわずかに低下したが、固定されたセグメンテーションヘッドがより安定した腫瘍整合性をもたらすことを示した。
• 腫瘍整合性損失の導入により、SSIMとセグメンテーション性能が顕著に向上した。これは、臨床的に重要な腫瘍特徴の保持に有効であることを確認した。