[논문 리뷰] Brain Imaging Generation with Latent Diffusion Models

Walter Hugo Lopez Pinaya, Petru-Daniel Tudosiu외 6명|arXiv (Cornell University)|2022. 09. 15.

Radiomics and Machine Learning in Medical Imaging인용 수 26

한 줄 요약

논문은 잠재 확산 모델(LDMs)을 훈련시켜 공변량에 조건화된 고해상도 3D 뇌 MRI를 생성하고, FID 및 다양성 지표로 평가하며 100k 샘플의 합성 뇌 데이터셋을 공개합니다.

ABSTRACT

Deep neural networks have brought remarkable breakthroughs in medical image analysis. However, due to their data-hungry nature, the modest dataset sizes in medical imaging projects might be hindering their full potential. Generating synthetic data provides a promising alternative, allowing to complement training datasets and conducting medical image research at a larger scale. Diffusion models recently have caught the attention of the computer vision community by producing photorealistic synthetic images. In this study, we explore using Latent Diffusion Models to generate synthetic images from high-resolution 3D brain images. We used T1w MRI images from the UK Biobank dataset (N=31,740) to train our models to learn about the probabilistic distribution of brain images, conditioned on covariables, such as age, sex, and brain structure volumes. We found that our models created realistic data, and we could use the conditioning variables to control the data generation effectively. Besides that, we created a synthetic dataset with 100,000 brain images and made it openly available to the scientific community.

연구 동기 및 목표

• 제한된 의료 영상 데이터 세트와 프라이버시 우려를 극복하기 위한 합성 데이터 생성의 필요성을 제시한다.
• 대규모 데이터세트에 맞춰 확장 가능한 잠재 확산 모델(Latent Diffusion Models)을 이용한 고해상도 3D 뇌 영상 생성 개발.
• 나이, 성별, 뇌실 부피 및 뇌 부피와 같은 공변량에 조건화를 가능하게 하여 실질적이고 제어 가능한 뇌 영상을 생성한다.
• LDM을 GAN 기반 기준선과 비교하고 생성된 영상의 현실성 및 다양성을 평가한다.
• 커뮤니티를 위해 큰 합성 뇌 MRI 데이터셋의 개방 접근을 제공한다.

제안 방법

• UK Biobank T1w MRI (N=31,740)를 사용하여 20×28×20 잠재 표현에 대해 잠재 확산 모델을 학습한다.
• 오토인코더로 이미지를 압축하고 고정 분산 스케줄의 1000-step 순전파 프로세스와 함께 잠재 공간에서 확산을 학습한다.
• 연령, 성별, 뇌실 부피 및 뇌 부피에 대해 연결 및 교차 주의를 통해 이미지 생성을 조건화한다(하이브리드 조건화).
• 샘플링 품질을 FID(Med3D 특징)로, 다양성을 MS-SSIM 및 4-G-R-SSIM으로 평가하고 LSGAN 및 VAE-GAN 기준선과 비교한다.
• 샘플링 속도를 높이기 위해 DDIM을 적용하여 1000단계에서 50단계로 줄이고 최소한의 성능 손실을 보인다.

실험 결과

연구 질문

• RQ1 잠재 확산 모델이 실제 데이터 분포와 일치하는 고해상도 3D 뇌 MRI를 생성할 수 있는가?
• RQ2 공변량(나이, 성별, 뇌실 및 뇌 부피)이 생성된 뇌 영상을 얼마나 잘 제어할 수 있는가?
• RQ3 3D 뇌 MRI 합성에서 현실성과 다양성 면에서 LDM이 GAN 기반 기준선을 능가하는가?
• RQ4 잠재 표현을 사용하여 고해상도 뇌 영상 생성을 확장하는 것이 가능할까?
• RQ5 커뮤니티를 위한 대규모 합성 뇌 MRI 데이터세트 공개의 활용도와 영향은 무엇인가?

주요 결과

• LDM은 선명한 세부와 현실적인 질감을 갖춘 고품질 뇌 MRI를 생성하여 조건 없이 생성에서 GAN 기준선을 능가했다.
• DDIM 샘플링은(50단계 대 1000대) 생성 속도를 크게 향상시키되 정확도 손실은 미미했다.
• 조건화가 뇌실 및 뇌 부피를 효과적으로 제어했고 입력과 SynthSeg 측정 뇌실 간 높은 상관계수(r = 0.972)를 보였다.
• 뇌 연령 조건화는 입력 조건과 예측 연령 간 강한 상관관계를 보였고(r = 0.692).
• 조건 변수의 외삽은 학습된 표현을 보여주었으며, 예를 들어 뇌실이나 뇌 크기 값이 학습 범위를 벗어나면 더 큰 뇌실이나 신경퇴행의 징후가 나타났다.
• 연구용 공개를 위해 100,000개의 뇌 영상 합성 데이터셋이 공개되었다.