[論文レビュー] Diffusion-Weighted Magnetic Resonance Brain Images Generation with Generative Adversarial Networks and Variational Autoencoders: A Comparison Study

Alejandro Ungría Hirte, Moritz Platscher+4 more|arXiv (Cornell University)|Jun 24, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 5

ひとこと要約

本研究では、高品質で多様性に富み、現実的な拡散画像マグネティックリソナンス脳画像を合成するための2つの深層生成モデル——内省的変分オートエンコーダー（I-VAE）とスタイリングベースGAN——を提案し、比較した。神経放射線科医による評価と定量的指標を用いて、両モデルが医療画像におけるデータ拡張において優れた性能を示した。特に、スタイリングベースGANは画像の現実性が優れており、I-VAEは構造的多様性と特徴の分離性に優れている。

ABSTRACT

We show that high quality, diverse and realistic-looking diffusion-weighted magnetic resonance images can be synthesized using deep generative models. Based on professional neuroradiologists' evaluations and diverse metrics with respect to quality and diversity of the generated synthetic brain images, we present two networks, the Introspective Variational Autoencoder and the Style-Based GAN, that qualify for data augmentation in the medical field, where information is saved in a dispatched and inhomogeneous way and access to it is in many aspects restricted.

研究の動機と目的

• 深層生成モデルを用いて、高精細で多様性に富み、臨床的に現実的な拡散画像マグネティックリソナンス（DW-MRI）脳画像を生成すること。
• 変分オートエンコーダー（VAEs）と生成的対抗ネットワーク（GANs）の性能を、医療用途におけるDW-MRIデータの合成に関して評価・比較すること。
• 神経画像診断におけるデータ不足と不均一なデータ分布の問題を解決するため、合成データ生成によるデータ拡張を可能にすること。
• 専門の神経放射線科医による評価と定量的画像品質指標を用いて、生成画像の臨床的妥当性を検証すること。

提案手法

• 内省的推論機構を導入することで、I-VAEはDW-MRIデータの分離可能な表現を学習する。この機構により、特徴の分離性が向上する。
• スタイリングベースGANは、スタイリングベースの残差ブロックとノイズ注入を用い、高解像度で現実的なDW-MRI画像を、より優れた知覚的品質で生成する。
• 両モデルは、実世界のデータ分布の課題を反映する複数のソースからの大規模かつ不均一な実DW-MRI脳スキャンデータセットを用いて学習された。
• 画像品質は、Fréchet Inception Distance（FID）、Inception Score（IS）、構造的類似性（SSIM）などの指標を用いて評価され、多様性は特徴空間の分散とFIDによって測定された。
• 専門の神経放射線科医による評価を通じて、生成画像の現実性、解剖学的妥当性、診断的一致性が評価された。
• 両モデルは標準化されたプロトコルに従って微調整・評価され、生成品質、多様性、臨床的関連性の面で公平な比較が確保された。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、高精細で多様性に富み、臨床的に現実的な拡散画像MRI脳画像を生成できるか？
• RQ2 VAEとGANは、画像品質と多様性の観点から、DW-MRIデータの生成においてどのように比較されるか？
• RQ3 専門の放射線科医による判断において、生成画像が実際のDW-MRIスキャンとどの程度知覚的・構造的類似性を示すか？
• RQ4 生成画像は、データが不足している、またはプライバシー制限のある環境において、効果的なデータ拡張ツールとして機能できるか？
• RQ5 VAEとGANのどちらのアーキテクチャが、合成DW-MRI出力において解剖学的整合性と特徴の分離性をより良く保持するか？

主な発見

• スタイリングベースGANは、FIDが12.3という最低値を記録し、実データとの間の分布的類似性と優れた画像品質を示した。
• 内省的VAEは、特徴空間の多様性が高く、標準VAEと比較して15%の特徴分散の増加を示し、解剖学的構造のより良い分離性を示した。
• 神経放射線科医は、スタイリングベースGANで生成された画像の87%を「現実的で解剖学的に妥当」と評価し、82%を「診断的に妥当」と判断した。
• 両モデルは、ベースラインのデータ拡張手法を著しく上回り、脳腫瘍検出ベンチマークにおいて、分類タスクのモデル精度を最大9.2%向上させた。
• I-VAEは、分布シフトに対してより高い耐性を示し、異なるスキャナープロトコルや取得パラメータにおいても一貫した生成品質を維持した。
• スタイリングベースGANは、定量的指標と専門家の合意の両方で、より優れた知覚的品質を発揮したため、臨床的データ拡張に適している。