[論文レビュー] Brain Imaging Generation with Latent Diffusion Models

Walter Hugo Lopez Pinaya, Petru-Daniel Tudosiu+6 more|arXiv (Cornell University)|Sep 15, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 26

ひとこと要約

本論文は covariates に条件付けした潜在拡散モデル（LDM）を用いて高解像度の 3D 脳 MRI を生成し、FID と多様性指標で評価し、100k サンプルの合成脳データセットを公開します。

ABSTRACT

Deep neural networks have brought remarkable breakthroughs in medical image analysis. However, due to their data-hungry nature, the modest dataset sizes in medical imaging projects might be hindering their full potential. Generating synthetic data provides a promising alternative, allowing to complement training datasets and conducting medical image research at a larger scale. Diffusion models recently have caught the attention of the computer vision community by producing photorealistic synthetic images. In this study, we explore using Latent Diffusion Models to generate synthetic images from high-resolution 3D brain images. We used T1w MRI images from the UK Biobank dataset (N=31,740) to train our models to learn about the probabilistic distribution of brain images, conditioned on covariables, such as age, sex, and brain structure volumes. We found that our models created realistic data, and we could use the conditioning variables to control the data generation effectively. Besides that, we created a synthetic dataset with 100,000 brain images and made it openly available to the scientific community.

研究の動機と目的

• 合成データ生成を動機づけ、医用画像データセットの制約とプライバシー問題を克服する。
• Latent Diffusion Models を用いて高解像度の 3D 脳画像生成を開発し、大規模データセットにスケールさせる。
• 年齢、性別、室脳室体積、脳容量などの共変量による条件付けを実現し、現実的で制御可能な脳画像を生成する。
• LDM を GAN ベースのベースラインと比較し、生成画像の現実性と多様性を評価する。
• コミュニティ向けに大規模な合成脳 MRI データセットをオープンに提供する。

提案手法

• UK Biobank の T1w MRI (N=31,740) を用いて、20×28×20 の潜在表現上で潜在拡散モデルを訓練する。
• オートエンコーダで画像を圧縮し、潜在空間で拡散を訓練する。1000 ステップのフォワード過程と固定分散スケジュール。
• 年齢、性別、室脈容量、脳容量を連結とクロスアテンション（ハイブリッド条件付け）により画像生成の条件付けを行う。
• Sampling の品質を FID（Med3D の特徴量）で、多様性を MS-SSIM と 4-G-R-SSIM で評価し、LSGAN および VAE-GAN ベースラインと比較する。
• DDIM を適用してサンプリングを高速化し、ステップを 1000 から 50 に削減して性能低下を最小化する。

実験結果

リサーチクエスチョン

• RQ1 潜在拡散モデルは実データ分布にマッチする高解像度の 3D 脳 MRI を生成できるか。
• RQ2 共変量（年齢、性別、室脳容量、脳容量）は生成された脳画像をどの程度制御できるか。
• RQ3 3D 脳 MRI 合成において LDM は現実性と多様性で GAN ベースのベースラインを上回るか。
• RQ4 潜在表現を用いた高解像度脳画像生成をスケールさせることは現実的か。
• RQ5 コミュニティ向けに大規模な合成脳 MRI データセットを公開することの有用性と影響は何か。

主な発見

Model	FID ↓	MS-SSIM ↓	4-G-R-SSIM ↓
LSGAN	0.0231	0.9997	0.9969
VAE-GAN	0.1576	0.9671	0.8719
LDM	0.0076	0.6555	0.3883
LDM + DDIM	0.0080	0.6704	0.3957
Real images	0.0005	0.6536	0.3909

• LDM は未条件生成において GAN ベースラインを上回る現実的で鋭いディテールと質感を備えた高品質な脳 MRI を生成した。
• DDIM サンプリングは 1000 ステップと比較して 50 ステップで顕著に速度を向上させ、精度の損失が最小限だった。
• conditioning は室脈容量と脳容量を効果的に制御し、入力と SynthSeg 測定室脈の間には高い相関（r = 0.972）を示した。
• 脳年齢 conditioning は入力条件付けと予測年齢の間に強い相関を示し（r = 0.692）、安定して機能した。
• conditioning 変数の外挿は学習済み表現を示し、室脈/脳サイズの値が訓練範囲外になると、室脈が大きくなるなど神経変性の兆候が見られた。
• 研究用途として 100,000 枚の脳画像の合成データセットを公開した。