[論文レビュー] 3D-StyleGAN: A Style-Based Generative Adversarial Network for Generative Modeling of Three-Dimensional Medical Images

Sung‐Min Hong, Razvan Marinescu+5 more|arXiv (Cornell University)|Jul 20, 2021

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 4

ひとこと要約

本稿では、メモリ効率を高めるために特徴マップおよび潜在ベクトルの深さを低減し、2Dの操作を3Dに適応させ、スタイリングベクトルを用いて制御可能な画像合成を実現することで、3D医療画像の高精細な生成モデリングを目的とした、StyleGAN2の3D拡張版である3D-StyleGANを提案する。本手法は、2mmの等方的解像度の脳MRIを高品質に生成でき、潜在空間への投影とスタイリングミキシングを可能にした。

ABSTRACT

Image synthesis via Generative Adversarial Networks (GANs) of three-dimensional (3D) medical images has great potential that can be extended to many medical applications, such as, image enhancement and disease progression modeling. However, current GAN technologies for 3D medical image synthesis need to be significantly improved to be readily adapted to real-world medical problems. In this paper, we extend the state-of-the-art StyleGAN2 model, which natively works with two-dimensional images, to enable 3D image synthesis. In addition to the image synthesis, we investigate the controllability and interpretability of the 3D-StyleGAN via style vectors inherited form the original StyleGAN2 that are highly suitable for medical applications: (i) the latent space projection and reconstruction of unseen real images, and (ii) style mixing. We demonstrate the 3D-StyleGAN's performance and feasibility with ~12,000 three-dimensional full brain MR T1 images, although it can be applied to any 3D volumetric images. Furthermore, we explore different configurations of hyperparameters to investigate potential improvement of the image synthesis with larger networks. The codes and pre-trained networks are available online: https://github.com/sh4174/3DStyleGAN.

研究の動機と目的

• 2D GANのボリュメトリックデータ合成における制限を克服し、StyleGAN2を3D医療画像生成に拡張すること。
• StyleGAN2から継承したスタイリングベクトルを用いて、3D脳MRIの制御可能で解釈可能な生成を実現すること。
• 未観測の実際の3D医療画像に対する潜在空間への投影とスタイリングミキシングの可能性を検証すること。
• 限定的なフィルターデプスと潜在ベクトルサイズを用いて、メモリ制約下での性能を評価すること。
• 超解像、動き補正、疾患モデリングなどの応用を想定し、3D医療画像生成のための公開可能なフレームワークを提供すること。

提案手法

• ボリュメトリック合成を可能にするために、StyleGAN2のすべての2D操作、レイヤー、ノイズ入力を3D同等に置き換えた。
• GPUメモリ制約を管理しつつ画像品質を維持するために、フィルターマップの深さと潜在ベクトルのサイズを低減した。
• 各3D畳み込みブロックに適用される学習されたアフィン変換（ModおよびDemod）を用いたスタイリングベースの生成器を採用した。
• 未観測の実際の3D画像を学習済み潜在空間にマップするための投影関数を実装し、再構成を可能にした。
• 合成ネットワーク内の異なる解像度レベルで、異なる画像からのスタイリングベクトルを組み合わせることでスタイリングミキシングを適用した。
• 3D-ResNetディスクライマと段階的解像度の増加を用いて、約12,000例のT1強調3D脳MRIスキャンでモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 メモリ制約下でも高品質な画像を維持しつつ、StyleGAN2を3D医療画像生成に効果的に拡張できるか？
• RQ2 未観測の実際の3D医療画像に対する潜在空間への投影が、3D-StyleGANフレームワークを用いて高精細な再構成を達成できるか？
• RQ3 異なる解像度レベルでのスタイリングベクトルは、3D MRI合成における特定の解剖的特徴をどの程度制御できるか？
• RQ4 フィルターデプスと潜在ベクトルサイズは、生成された3D医療画像の品質にどのように影響するか？
• RQ5 スタイリングミキシングにより、3D医療画像間で解釈可能で意味のある形で解剖的変異を転送できるか？

主な発見

• 3D-StyleGANは、2mmの等方的解像度で高品質な3D脳MRIを生成でき、視認的に現実的で、最小限のアーティファクトを示した。
• 未観測の実際の3D画像に対する潜在空間への投影により、高精細な再構成が達成され、モデルのインバータビリティの能力が裏付けられた。
• スタイリングミキシングにより、低解像度のスタイリングベクトルを用いて、脳室の大きさや脳の輪郭といった高レベルの解剖的特徴を制御可能となった。
• 1mm解像度でフィルターマップの深さを16にした場合、著しく品質が低下したため、ネットワークの深さにしきい値効果が存在することが示された。
• より深いフィルターマップ（例：fd96）を用いた場合、2mm解像度でより優れた性能を達成したため、品質に寄与するアーキテクチャの深さの重要性が確認された。
• ソースコードおよび事前学習済みモデルは公開されており、再現性および3D医療画像生成分野における後続の応用を可能にした。