[논문 리뷰] Synthetic CT Generation from MRI using 3D Transformer-based Denoising Diffusion Model

Shaoyan Pan, Elham Abouei외 11명|arXiv (Cornell University)|2023. 05. 31.

Medical Imaging Techniques and Applications인용 수 10

한 줄 요약

논문은 MC-DDPM를 소개하는데, 이는 radiotherapy를 위한 MRI를 고품질 합성 CT로 변환하는 트랜스포머 기반의 denoising diffusion 모델이며, brain과 prostate에서 minutes 단위로 강력한 결과를 달성한다.

ABSTRACT

Magnetic resonance imaging (MRI)-based synthetic computed tomography (sCT) simplifies radiation therapy treatment planning by eliminating the need for CT simulation and error-prone image registration, ultimately reducing patient radiation dose and setup uncertainty. We propose an MRI-to-CT transformer-based denoising diffusion probabilistic model (MC-DDPM) to transform MRI into high-quality sCT to facilitate radiation treatment planning. MC-DDPM implements diffusion processes with a shifted-window transformer network to generate sCT from MRI. The proposed model consists of two processes: a forward process which adds Gaussian noise to real CT scans, and a reverse process in which a shifted-window transformer V-net (Swin-Vnet) denoises the noisy CT scans conditioned on the MRI from the same patient to produce noise-free CT scans. With an optimally trained Swin-Vnet, the reverse diffusion process was used to generate sCT scans matching MRI anatomy. We evaluated the proposed method by generating sCT from MRI on a brain dataset and a prostate dataset. Qualitative evaluation was performed using the mean absolute error (MAE) of Hounsfield unit (HU), peak signal to noise ratio (PSNR), multi-scale Structure Similarity index (MS-SSIM) and normalized cross correlation (NCC) indexes between ground truth CTs and sCTs. MC-DDPM generated brain sCTs with state-of-the-art quantitative results with MAE 43.317 HU, PSNR 27.046 dB, SSIM 0.965, and NCC 0.983. For the prostate dataset, MC-DDPM achieved MAE 59.953 HU, PSNR 26.920 dB, SSIM 0.849, and NCC 0.948. In conclusion, we have developed and validated a novel approach for generating CT images from routine MRIs using a transformer-based DDPM. This model effectively captures the complex relationship between CT and MRI images, allowing for robust and high-quality synthetic CT (sCT) images to be generated in minutes.

연구 동기 및 목표

• MRI 기반 합성 CT를 통한 CT 시뮬레이션 및 이미지-등록 오차 감소 동기 부여.
• MRI를 조건으로 하는 확산 확률 모델을 이용해 MRI에서 CT로 변환하는 방법 개발.
• DDPM 프레임워크 내에서 shifted-window transformer 네트워크(Swin-Vnet)를 활용해 CT를 denoise하는 동안 MRI 해부학 정보를 보존.
• 정량적 CT 정확도 지표를 사용해 뇌 및 전립선 데이터셋에서 접근법을 검증합니다.

제안 방법

• 실제 CT 이미지에 가우시안 노이즈를 추가하는 순방향 diffusion 프로세스를 사용합니다.
• Swin-Vnet을 이용해 환자의 MRI를 조건으로 하는 noisy CT 이미지를 denoise하는 역방향 diffusion 프로세스를 적용합니다.
• MRI에서 noise-free CT를 생성하기 위해 3D transformer-based denoising diffusion probabilistic model(MC-DDPM)을 통합합니다.
• MAE, PSNR, MS-SSIM, NCC를 사용해 생성된 sCT를 ground-truth CT와 비교 평가합니다.
• 뇌 및 전립선 결과를 보고해 데이터셋에 따른 성능 차이를 증명합니다.

실험 결과

연구 질문

• RQ1 MC-DDPM이 해부학적 충실도를 보존하면서 MRI에서 CT를 정확히 생성할 수 있는가?
• RQ2 뇌 데이터셋과 전립선 데이터셋에서 표준 sCT 지표 측면으로 이 방법의 성능 차이는 어떠한가?
• RQ3 제안된 접근법의 정량적 이득(MAE, PSNR, SSIM, NCC)은 ground-truth CT에 비해 얼마나 되는가?
• RQ4 sCT 생성 프로세스가 실용적인 방사선 치료 계획에 충분히 빠른가(케이스당 분 단위)?

주요 결과

• Brain sCT: MAE 43.317 HU, PSNR 27.046 dB, SSIM 0.965, NCC 0.983.
• Prostate sCT: MAE 59.953 HU, PSNR 26.920 dB, SSIM 0.849, NCC 0.948.
• MC-DDPM은 CT–MRI 관계를 효과적으로 포착하고 anatomically 일치하는 sCT를 분 단위로 생성합니다.
• MRI에 조건화된 Swin-Vnet은 역 확산 과정에서 CT의 고품질 denoising을 가능하게 합니다.