[논문 리뷰] Spot the fake lungs: Generating Synthetic Medical Images using Neural Diffusion Models

Hazrat Ali, Shafaq Murad외 1명|arXiv (Cornell University)|2022. 11. 02.

AI in cancer detection인용 수 7

한 줄 요약

이 연구는 신경 확산 모델을 사용하여 합성된 폐 X선 및 CT 영상을 생성하는 데 초점을 맞추며, 최적화된 스테이블 디퓨전 모델이 방사선의사에게 실제 의료 스캔과 구분되지 않을 정도로 이미지를 생성할 수 있음을 입증한다. 일부 이미지가 해부학적 모순으로 인해 가짜로 식별되었음에도 불구하고, 일부는 실제로 진단된 바가 있어, 확산 모델을 활용한 의료 영상 합성의 잠재력이 높음을 시사한다.

ABSTRACT

Generative models are becoming popular for the synthesis of medical images. Recently, neural diffusion models have demonstrated the potential to generate photo-realistic images of objects. However, their potential to generate medical images is not explored yet. In this work, we explore the possibilities of synthesis of medical images using neural diffusion models. First, we use a pre-trained DALLE2 model to generate lungs X-Ray and CT images from an input text prompt. Second, we train a stable diffusion model with 3165 X-Ray images and generate synthetic images. We evaluate the synthetic image data through a qualitative analysis where two independent radiologists label randomly chosen samples from the generated data as real, fake, or unsure. Results demonstrate that images generated with the diffusion model can translate characteristics that are otherwise very specific to certain medical conditions in chest X-Ray or CT images. Careful tuning of the model can be very promising. To the best of our knowledge, this is the first attempt to generate lungs X-Ray and CT images using neural diffusion models. This work aims to introduce a new dimension in artificial intelligence for medical imaging. Given that this is a new topic, the paper will serve as an introduction and motivation for the research community to explore the potential of diffusion models for medical image synthesis. We have released the synthetic images on https://www.kaggle.com/datasets/hazrat/awesomelungs.

연구 동기 및 목표

• 신경 확산 모델을 사용하여 폐의 합성 의료 영상을 생성하는 데의 가능성을 탐구하기 위해.
• 방사선의사 평가를 통해 생성된 X선 및 CT 영상의 현실성과 진단 가능성 여부를 평가하기 위해.
• 특히 희귀 질환에 대해 데이터 증강 도구로 확산 모델의 잠재력을 탐색하기 위해.
• 미래의 모델 개발을 안내하기 위해 생성된 데이터의 한계와 편향을 특정하기 위해.

제안 방법

• 3,165장의 실제 폐 X선 영상 데이터셋을 기반으로 스테이블 디퓨전 모델을 최적화하여 합성 영상을 생성하기 위해.
• 비교를 위해 텍스트 프롬프트에서 이미지를 생성하는 데 사전 학습된 DALL-E 2 모델을 사용하기 위해.
• 노이즈가 첨가된 이미지로 향방 확산 과정을 추가하는 방식을 반대로 학습하는 디노이징 오토인코더 유사 과정을 통해 확산 모델을 훈련하기 위해.
• 두 명의 독립된 방사선의사가 이미지를 실제, 가짜 또는 확신 없음으로 분류하는 방식으로 생성된 이미지를 정성적으로 평가하기 위해.
• 잠재 표현과 텍스트 프롬프트를 기반으로 이미지 합성을 유도하기 위한 조건부 생성 기법을 적용하기 위해.
• 전방 확산(데이터 → 노이즈)과 역방향 디노이징(노이즈 → 데이터)의 두 단계 과정을 사용하며, 신경망이 역방향 전이를 학습하기 위해.

실험 결과

연구 질문

• RQ1 신경 확산 모델은 시각적으로 현실적이며 진단적으로 타당한 폐 X선 및 CT 영상을 생성할 수 있는가?
• RQ2 블라인드 평가에서 방사선의사는 실제와 합성 의료 영상을 어떻게 구분하는가?
• RQ3 합성된 이미지에서 방사선의사가 가장 자주 가짜로 식별하는 해부학적 특징은 무엇인가?
• RQ4 생성된 이미지가 폐렴이나 축농증과 같은 특정 병적 상태를 어느 정도 반영하는가?
• RQ5 확산 기반으로 생성된 의료 영상에서의 주요 한계와 편향은 무엇인가?

주요 결과

• 방사선의사들은 실제 폐면역으로 14장의 X선 및 3장의 CT 영상을 정확히 식별하여, 일부 합성 이미지가 실제 의료 스캔과 매우 유사함을 시사한다.
• CT 영상의 상당수(20장 중 17장)가 최소 한 명의 방사선의사에 의해 가짜로 분류되어, CT 해부학을 현실적으로 생성하는 데 더 큰 어려움이 있음을 시사한다.
• 방사선의사들이 합성 X선 영상에서 가짜로 식별하는 데 주로 사용한 핵심 지표는 심장 影 뒤에 기도가 보이는 것이었다.
• 일부 생성된 이미지에서 방사선의사들은 폐렴이나 축농증의 징후가 있다고 기술하여, 모델이 질환 특이적 특징을 학습하고 있음을 시사한다.
• 모델은 뼈와 경추의 세부 해부학적 특징을 다루는 데 어려움을 겪었으며, 이는 종종 합성 원천의 징후로 자주 언급되었다.
• 한계가 있음에도 불구하고, 결과는 확산 모델이 폐 병변의 복잡한 표현을 학습하고 임상적으로 타당한 이미지를 생성할 수 있음을 보여준다.