[論文レビュー] Beware of diffusion models for synthesizing medical images -- A comparison with GANs in terms of memorizing brain MRI and chest x-ray images

Muhammad Usman Akbar, Wuhao Wang+1 more|arXiv (Cornell University)|May 12, 2023

Advanced Neuroimaging Techniques and Applications被引用数 4

ひとこと要約

本研究では、脳MRIおよび胸部X線画像の合成において、拡散モデルとStyleGANを比較し、特に小規模データセットおよび2次元スライスにおいて、拡散モデルがGANよりも顕著に訓練データを記憶していることが判明した。これは、医療画像生成におけるプライバシー上の懸念を引き起こす。

ABSTRACT

Diffusion models were initially developed for text-to-image generation and are now being utilized to generate high quality synthetic images. Preceded by GANs, diffusion models have shown impressive results using various evaluation metrics. However, commonly used metrics such as FID and IS are not suitable for determining whether diffusion models are simply reproducing the training images. Here we train StyleGAN and a diffusion model, using BRATS20, BRATS21 and a chest x-ray pneumonia dataset, to synthesize brain MRI and chest x-ray images, and measure the correlation between the synthetic images and all training images. Our results show that diffusion models are more likely to memorize the training images, compared to StyleGAN, especially for small datasets and when using 2D slices from 3D volumes. Researchers should be careful when using diffusion models (and to some extent GANs) for medical imaging, if the final goal is to share the synthetic images.

研究の動機と目的

• 拡散モデルとGANの医療画像合成における記憶行動を評価すること。
• FID や IS といった一般的に用いられる指標が、合成医療画像における記憶度を検出できるかどうかを評価すること。
• データセットサイズと3次元ボリュームからの2次元スライス抽出が、拡散モデルとGANにおける記憶度に与える影響を調査すること。
• 特にデータプライバシーの観点から、生成モデルを医療画像分野で責任を持って使用するための指針を提供すること。
• 臨床画像生成における、一般化と記憶のトレードオフを、拡散モデルとStyleGANの間で比較すること。

提案手法

• BRATS20、BRATS21、および胸部X線肺炎データセットを用いて、脳MRIおよび胸部X線画像の合成のため、StyleGANと拡散モデルを訓練した。
• 臨床的に現実的であるとされる条件下で、3次元MRIボリュームから抽出した2次元軸方向スライスを用いて、記憶度を評価した。
• 合成画像とすべての訓練画像の間の相関を測定し、画像レベルの類似度指標を用いて記憶度を定量化した。
• データセットサイズを変化させたことで、データ不足が記憶度に与える影響を評価した。
• 標準的な生成モデル評価指標（FID、IS）に加え、記憶度に特化した分析を実施し、モデルの挙動を対比した。
• 同一の訓練および評価プロトコル下で、拡散モデルとStyleGANの間の記憶度の割合を比較した。

実験結果

リサーチクエスチョン

• RQ1 脳MRIおよび胸部X線画像を生成する際、拡散モデルの記憶度はStyleGANに比べてどの程度高いか？
• RQ2 特に小規模データセットにおいて、拡散モデルが訓練画像を再現する割合が一般化する割合よりも顕著に高いのはどの程度か？
• RQ3 3次元ボリュームからの2次元スライスの使用が、拡散モデルおよびGANにおける記憶度にどのように影響するか？
• RQ4 FID や IS といった標準的な生成モデル指標は、医療画像合成における記憶度を検出するのに十分か？
• RQ5 臨床現場における合成医療画像生成に拡散モデルを用いる場合、プライバシー上の影響は何か？

主な発見

• 拡散モデルは、特に小規模データセットにおいて、StyleGANよりも顕著に訓練画像を記憶している。
• 3次元MRIボリュームからの2次元スライスを生成する際、記憶度が顕著に高くなることが示され、解剖学的文脈が記憶パターンに影響を与える可能性がある。
• すべてのデータセットにおいて、合成画像と訓練画像の相関は、拡散モデルの方がStyleGANよりも一貫して高い。
• FID や IS といった標準指標は記憶度を検出できないため、医療画像合成におけるプライバシーリスクを評価するには不十分である。
• FID スコアが類似している場合でも、拡散モデルは訓練画像の同一または類似コピーをGANよりも多く生成する。
• データ不足が進行するほど記憶度のリスクが高まるため、訓練データが限られる状況では、拡散モデルはプライバシーに配慮した医療画像生成に不適切である。