[논문 리뷰] Conversion Between CT and MRI Images Using Diffusion and Score-Matching Models

Qing Lyu, Ge Wang|arXiv (Cornell University)|2022. 09. 24.

Radiomics and Machine Learning in Medical Imaging인용 수 53

한 줄 요약

논문은 확산 및 점수 매칭 생성 모델을 MRI (T2-weighted) 입력에서 CT 이미지를 합성하도록 적응하고, CNN/GAN 기준선과 다중 샘플링 전략을 비교하며 몬테카를로 샘플링을 통해 불확실성을 정량화한다.

ABSTRACT

MRI and CT are most widely used medical imaging modalities. It is often necessary to acquire multi-modality images for diagnosis and treatment such as radiotherapy planning. However, multi-modality imaging is not only costly but also introduces misalignment between MRI and CT images. To address this challenge, computational conversion is a viable approach between MRI and CT images, especially from MRI to CT images. In this paper, we propose to use an emerging deep learning framework called diffusion and score-matching models in this context. Specifically, we adapt denoising diffusion probabilistic and score-matching models, use four different sampling strategies, and compare their performance metrics with that using a convolutional neural network and a generative adversarial network model. Our results show that the diffusion and score-matching models generate better synthetic CT images than the CNN and GAN models. Furthermore, we investigate the uncertainties associated with the diffusion and score-matching networks using the Monte-Carlo method, and improve the results by averaging their Monte-Carlo outputs. Our study suggests that diffusion and score-matching models are powerful to generate high quality images conditioned on an image obtained using a complementary imaging modality, analytically rigorous with clear explainability, and highly competitive with CNNs and GANs for image synthesis.

연구 동기 및 목표

• 비용 효율적인 다중 모달 진단 및 방사선 치료 계획을 가능하게 하는 교차 모달 CT-MRI 합성을 촉진한다.
• MRI를 조건으로 하여 합성 CT 이미지를 생성하는 확산 및 점수 매칭 기반 프레임워크를 개발한다.
• CNN 및 GAN 기준선과 대조하여 다중 샘플링 전략(DDPM, SDE 기반 방법)을 비교한다.
• 몬테카를로 평균 및 변동성 맵을 이용하여 생성 CT 이미지의 예측 불확실성을 정량화한다.
• 확산 기반 접근법의 효과성과 설명 가능성에 대한 분석적 근거와 경험적 증거를 제공한다.

제안 방법

• UNet 디노이저를 사용한 조건부 DDPM을 확장하여 MRI (T2w) → CT 조건부 생성에 매핑한다.
• 확산 및 점수 기반 모델의 조건화를 MRI 입력에 맞게 적응시키고 조건부 역과정을 도출한다.
• 다중 샘플링 전략(DDPM, Euler-Maruyama (EM), Prediction-Corrector (PC), Ordinary Differential Equation (ODE))을 구현하고 비교한다.
• MRI-CT 쌍이 정합된 Gold Atlas 골반 데이터셋을 이용하여 학습 및 평가한다.
• 몬테카를로 샘플링(10회 실행)을 수행하고 결과를 평균하여 DDPM-M, EM-M, PC-M, 및 ODE-M을 얻어 불확실성을 정량화한다.

실험 결과

연구 질문

• RQ1 MRI를 조건으로 한 확산 및 점수 매칭 모델이 CNN 및 GAN 기준선에 비해 높은 충실도의 CT 유사 이미지를 생성할 수 있는가?
• RQ2 다양한 샘플링 전략(DDPM, EM, PC, ODE)이 MRI-to-CT 합성에서 이미지 품질과 추론 속도에 어떤 영향을 미치는가?
• RQ3 MC 기반 평균화가 교차 모달 합성에서 이미지 품질과 모델 불확실성에 어떤 영향을 미치는가?
• RQ4 합산 확산-점수 모델이 현실감, 세부 묘사 보존 및 인공물 발생 측면에서 전통적 딥러닝 접근법과 어떻게 비교되는가?

주요 결과

• 확산 및 점수 매칭 모델은 정성적·정량적 지표에 따라 CNN 및 GAN 기준선보다 더 높은 품질의 합성 CT 이미지를 생성한다.
• 몬테카를로 평균화(DDPM-M, EM-M, PC-M, ODE-M)는 단일 샘플 결과보다 우수한 SSIM 및 PSNR 점수를 산출한다.
• 샘플링 방법 중 ODE가 가장 빠르고 PC가 가장 느리며 DDPM과 EM이 경쟁력 있는 품질을 보인다.
• DDPM은 일부 SDE 기반 방법보다 충실도와 불확실성이 더 큰 경향이 있지만, 방법 간 평균화를 통해 변동성이 감소한다.
• CNN은 과도한 매끄러움, GAN은 인공물 발생의 경향이 있는 반면, 확산 기반 접근법은 합성 CT 이미지에서 사실적 디테일과 인공물 감소를 보여준다.