[論文レビュー] Generation of 3D Brain MRI Using Auto-Encoding Generative Adversarial Networks

Gihyun Kwon, Chihye Han+1 more|arXiv (Cornell University)|Aug 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 11

ひとこと要約

本稿では、VAE風の潜在空間正則化とWGAN-GPトレーニングを組み合わせることで、ランダムノイズから高精細で多様な3D脳MRIボリュームを生成する3D自己符号化GAN（3D-α-WGAN-GP）を提案する。モデルは、ベースラインのGANやVAE-GANを上回り、分布の類似性とサンプルの多様性の両面で優れた性能を示し、最小限のトレーニングデータで、複数のモodal（T2、FLAIR、T1w）における正常および病理的脳MRIのリアルな合成を可能にする。

ABSTRACT

As deep learning is showing unprecedented success in medical image analysis tasks, the lack of sufficient medical data is emerging as a critical problem. While recent attempts to solve the limited data problem using Generative Adversarial Networks (GAN) have been successful in generating realistic images with diversity, most of them are based on image-to-image translation and thus require extensive datasets from different domains. Here, we propose a novel model that can successfully generate 3D brain MRI data from random vectors by learning the data distribution. Our 3D GAN model solves both image blurriness and mode collapse problems by leveraging alpha-GAN that combines the advantages of Variational Auto-Encoder (VAE) and GAN with an additional code discriminator network. We also use the Wasserstein GAN with Gradient Penalty (WGAN-GP) loss to lower the training instability. To demonstrate the effectiveness of our model, we generate new images of normal brain MRI and show that our model outperforms baseline models in both quantitative and qualitative measurements. We also train the model to synthesize brain disorder MRI data to demonstrate the wide applicability of our model. Our results suggest that the proposed model can successfully generate various types and modalities of 3D whole brain volumes from a small set of training data.

研究の動機と目的

• 深層学習に基づく医療画像解析における3D医療画像データの不足という重要な課題に対処すること。
• ハイブリッドVAE-GANフレームワークを用いて、3D GANベースのMRI生成におけるモード崩壊と画像のぼやけを克服すること。
• ペairedデータやクロスドメインデータを一切必要とせず、ランダムな潜在ベクトルから多様でリアルな3D脳MRIボリュームを生成できること。
• 複数のシーケンス（T2、FLAIR、T1w）における正常、腫瘍由来、ストローク由来の脳MRIを合成することで、モデルの汎用性を実証すること。

提案手法

• VAEのKLダイバージェンスの代わりにGAN風のJSダイバージェンスを用いるコード識別器ネットワークを導入し、エンコーダの事後分布と事前分布との対照的マッチングを実現することで、α-GANアーキテクチャを3Dに適応化する。
• 4×4×4カーネル、バッチノーマライゼーション、LeakyReLU活性化関数を用いた5層の3D畳み込み層を備えた3Dエンコーダおよび3Dジェネレータを採用し、ボリュメトリックデータ内の空間階層をモデル化する。
• 勾配ペナルティを用いたWGAN-GP損失を採用することで、トレーニングの安定性を向上させ、3D GANで一般的に見られるトレーニング不安定性を軽減し、モードカバレッジを改善する。
• 変分自己符号化構造を活用し、ジェネレータが符号化された潜在ベクトルから再構築画像を生成することで、分離可能で意味のある潜在表現を実現する。
• 再構築損失、画像識別器からの対抗的損失、コード識別器からの対抗的損失を統合した包括的最適化目標を用いて、エンドツーエンドでモデルをトレーニングする。
• 多様性と分布精度のバランスを最適化するため、潜在ベクトルサイズのチューニングを実施。その結果、中程度のサイズ（例：512）が最適な結果をもたらすことが判明。

実験結果

リサーチクエスチョン

• RQ1 ペairedデータやクロスドメインデータを一切必要としない3D GANモデルは、ランダムノイズからリアルで多様な3D脳MRIボリュームを生成できるか？
• RQ2 VAE風の潜在正則化とGANトレーニングを統合することで、3D MRI生成におけるモード崩壊と画像のぼやけを効果的に緩和できるか？
• RQ3 WGAN-GP損失は、標準的なGANと比較して、3D MRI生成におけるトレーニング安定性と分布類似性を向上させるか？
• RQ4 提案モデルは、腫瘍やストローク病変などの多様な脳疾患およびT2、FLAIR、T1wなどの複数の画像モodalに一般化可能か？
• RQ5 3D MRI生成において、サンプルの多様性と分布精度のバランスを最適化するための最適な潜在ベクトルサイズは何か？

主な発見

• 提案された3D-α-WGAN-GPモデルは、実データに対して12.3という最高のFréchet MRI距離（FID）スコアを達成し、3D-WGAN-GP（FID: 21.5）と3D-VAE-GAN（FID: 18.7）を大きく上回り、分布マッチングの優位性を示した。
• モデルは1000組のペアに対してMS-SSIMスコア0.92を達成し、実データ（MS-SSIM: 0.93）と非常に近い類似性を示した。一方、ベースラインモデルは生成サンプル同士の類似度が高く、モード崩壊を示している。
• 主成分分析（PCA）可視化により、提案モデルから生成されたサンプルは、実データと最も広範かつリアルな分布範囲を示しており、3D-WGAN-GP や 3D-VAE-GAN が限られた範囲やぼやけた出力を生成するのとは対照的であることが確認された。
• 潜在ベクトルサイズが512の場合、多様性と分布精度のバランスが最適化される。サイズが小さい（例：100）と深刻なモード崩壊が発生し、逆に大きい（例：1024）と実データ分布外の出力が生成される。
• モデルは、FLAIR、T2、T1wの複数モダリティにおいて、腫瘍やストローク病変を有するリアルな3D脳MRIを効果的に生成でき、多様な病変および画像コントラストへの一般化能力を示した。
• 補足結果から、他のモデル（例：3D-WGAN-GP、3D-VAE-GAN）は著しく劣化または非現実的な画像を生成しており、提案アーキテクチャの優位性が裏付けられた。