[論文レビュー] Spot the fake lungs: Generating Synthetic Medical Images using Neural Diffusion Models

Hazrat Ali, Shafaq Murad+1 more|arXiv (Cornell University)|Nov 2, 2022

AI in cancer detection被引用数 7

ひとこと要約

本研究では、神経拡散モデルを用いた合成肺X線およびCT画像の生成について検討し、微調整された安定拡散モデルが放射線科医にとって本物の画像と区別がつかない画像を生成できることを示した。一部の画像は解剖学的不一致のため偽物と特定されたが、その中には一部が本物と正しく識別されたものもあり、拡散モデルを用いた医療画像合成の強力な可能性が示された。

ABSTRACT

Generative models are becoming popular for the synthesis of medical images. Recently, neural diffusion models have demonstrated the potential to generate photo-realistic images of objects. However, their potential to generate medical images is not explored yet. In this work, we explore the possibilities of synthesis of medical images using neural diffusion models. First, we use a pre-trained DALLE2 model to generate lungs X-Ray and CT images from an input text prompt. Second, we train a stable diffusion model with 3165 X-Ray images and generate synthetic images. We evaluate the synthetic image data through a qualitative analysis where two independent radiologists label randomly chosen samples from the generated data as real, fake, or unsure. Results demonstrate that images generated with the diffusion model can translate characteristics that are otherwise very specific to certain medical conditions in chest X-Ray or CT images. Careful tuning of the model can be very promising. To the best of our knowledge, this is the first attempt to generate lungs X-Ray and CT images using neural diffusion models. This work aims to introduce a new dimension in artificial intelligence for medical imaging. Given that this is a new topic, the paper will serve as an introduction and motivation for the research community to explore the potential of diffusion models for medical image synthesis. We have released the synthetic images on https://www.kaggle.com/datasets/hazrat/awesomelungs.

研究の動機と目的

• 神経拡散モデルを用いた肺の合成医療画像生成の可能性を調査すること。
• 放射線科医による評価を通じて、生成されたX線およびCT画像の現実性と診断的妥当性を評価すること。
• とくに希少疾患に対して、拡散モデルをデータ拡張ツールとしての可能性を検討すること。
• 将来的なモデル開発を支援するため、生成データにおける主な制限要因およびバイアスを同定すること。

提案手法

• 3,165枚の実際の肺X線画像からなるデータセットを用いて、安定拡散モデルを微調整し、合成画像を生成した。
• 比較のため、テキストプロンプトから画像を生成する事前学習済みのDALL-E 2モデルを用いた。
• ノイズを追加する前向きの拡散プロセスを逆にたどる過程を学習する、ノイズ除去オートエンコーダに類似したプロセスで拡散モデルを訓練した。
• 生成画像は、2名の独立した放射線科医による定性的な評価を通じて、本物、偽物、または不明のいずれかに分類された。
• 潜在表現およびテキストプロンプトに基づいた条件付き生成技術を用いて、画像生成を誘導した。
• 2段階のプロセスを用いた：前向きの拡散（データからノイズへ）と逆方向のノイズ除去（ノイズからデータへ）、ニューラルネットワークが逆方向遷移を学習した。

実験結果

リサーチクエスチョン

• RQ1 神経拡散モデルは、視覚的に現実的で診断的に妥当な肺X線およびCT画像を生成できるか？
• RQ2 盲検評価において、放射線科医は本物と合成画像をどのように区別するか？
• RQ3 生成画像において、放射線科医が偽物と特定しやすい主な解剖学的特徴は何か？
• RQ4 生成画像は、肺炎や胸水など特定の病理状態をどの程度反映しているか？
• RQ5 拡散生成医療画像における主な制限要因およびバイアスは何か？

主な発見

• 放射線科医が14枚のX線画像および3枚のCT画像を本物と正しく識別した。これは一部の合成画像が本物の医療画像に非常に近いことを示している。
• CT画像の多く（20枚中17枚）が少なくとも1名の放射線科医によって偽物と判定された。これは、CTの解剖学的構造を現実的に再現することがより困難である可能性を示している。
• X線画像において、気管が心臓の影の後ろに位置していることが、偽物と特定するための重要な根拠となった。
• 一部の生成画像は、放射線科医によって肺炎や胸水の兆候があると評価された。これは、モデルが疾患特異的特徴を学習していることを示している。
• モデルは、肋骨や鎖骨の外観といった微細な解剖学的詳細の再現に苦労しており、これが合成画像と判別される主な要因となった。
• 制限はあるものの、結果は拡散モデルが肺疾患の複雑な表現を学習し、診断的に妥当な画像を生成できることを示している。