[論文レビュー] Multiscale Metamorphic VAE for 3D Brain MRI Synthesis

Jaivardhan Kapoor, Jakob H. Macke+1 more|arXiv (Cornell University)|Jan 9, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、固定解剖的テンプレートに可換で、スケールにわたる微分同相変換および強度変換を適用することで、高精細なMRIボリュームを生成する、マルチスケール変形的変分オートエンコーダー（M³AE）を提案する。この手法は、最先端のFIDスコアを達成するとともに、分離可能で解釈可能な潜在空間を維持しており、従来のVAEおよびGANベースの手法に比べて、分布カバレッジおよび解剖学的正確性の面で顕著に優れている。

ABSTRACT

Generative modeling of 3D brain MRIs presents difficulties in achieving high visual fidelity while ensuring sufficient coverage of the data distribution. In this work, we propose to address this challenge with composable, multiscale morphological transformations in a variational autoencoder (VAE) framework. These transformations are applied to a chosen reference brain image to generate MRI volumes, equipping the model with strong anatomical inductive biases. We structure the VAE latent space in a way such that the model covers the data distribution sufficiently well. We show substantial performance improvements in FID while retaining comparable, or superior, reconstruction quality compared to prior work based on VAEs and generative adversarial networks (GANs).

研究の動機と目的

• 高精細な3D脳MRIを、データ分布の十分なカバレッジを伴って生成する課題に対処すること。
• より優れた生成モデリングを実現するため、変分オートエンコーダー枠組みに強い解剖学的インダクティブバイアスを組み込むこと。
• 再構成品質を維持しつつ、後続の解析に利用可能な分離可能で操作可能な潜在空間を実現すること。
• 2Dから3DMRIボリュームへ、形態的変換に基づく合成をマルチスケールの合成により拡張すること。
• GANの限界（例：モード崩壊、潜在空間の欠如）およびVAEの限界（例：ぼやけた出力）を克服すること。

提案手法

• モデルは、生成の基盤として固定された参照脳テンプレートを用いる変分オートエンコーダーである。
• 生成プロセスを2つのデコーダーに分解する：1つは微分同相変形場（ϕ）のため、もう1つは加法的強度変換（A）のため。
• 変換は粗いスケールから細かいスケールへと段階的に適用され、各段階で解像度が2倍に増加する。この階層的精錬が可能になる。
• 最終出力は、変換の合成として M(T|ϕ,A) = (T + A) ∘ ϕ で定義され、最終段階は純粋に強度に基づくものとなる。
• 損失関数にはELBOに加え、変形場および強度マップのスケール固有の正則化項が含まれており、滑らかさおよび発散制約を含む。
• モデルはAdamWを用いて学習し、学習率は0.0003である。推論では、標準正規分布からサンプリングされた潜在ベクトルが使用される。

Figure 1 : Description of the proposed M 3 AE model. The decoder consists of two separate backbones Decoder ϕ and Decoder A that output diffeomorphic deformation fields and additive intensity transformations, respectively. These transformations are composed from coarse-to-fine scales that increase b

実験結果

リサーチクエスチョン

• RQ1 マルチスケールで可換可能な形態的変換は、標準VAEおよびGANと比較して、3D脳MRI合成の正確性および分布カバレッジを向上させることができるか？
• RQ2 変形および強度変換を用いた固定解剖学的テンプレートの使用は、生成されたMRIボリュームにおける解剖学的整合性を向上させることができるか？
• RQ3 高精細な出力を達成しつつ、VAEベースの3DMRI生成器で分離可能な潜在空間を維持できるか？
• RQ4 FID、SSIM、PSNR、MSEの指標において、本手法は最先端のベースラインと比較してどのように評価されるか？
• RQ5 マルチスケール変形場によって引き起こされるトポロジカルな多様性および視覚的品質の制限は何か？

主な発見

• M³AEモデルは2DスライスでFIDスコア11.2を達成し、α WGANベースラインおよびβ VAEを顕著に上回り、分布カバレッジおよびサンプル品質の優位性を示している。
• 解剖学的制約にもかかわらず、β VAEと同等の再構成品質を維持しており、SSIM、PSNR、MSEの値は狭い範囲に収まっている。
• 定性的な分析では、M³AEのサンプルは最も解剖学的に正確であり、皮質の折りたたみや構造的特徴が良好に保持されている。これに対して、β VAEおよびα WGANではアーティファクトが見られる。
• 細かいスケールの変形場が不十分に生成されることによる波状の視覚的アーティファクトが偶発的に発生しており、高解像度での正則化の改善が求められる。
• 皮質の折りたたみにおけるトポロジカルな多様性は限定的であり、今後の研究で回廊および gyral 変動のモデリングを強化する必要がある。
• 分離可能な潜在空間は、GANベースの手法が持たない構造的潜在表現とは異なり、意味のある後続解析を可能にしている。

Figure 2 : Preprocessed volumes from the ADNI dataset