[논문 리뷰] Zero-shot Medical Image Translation via Frequency-Guided Diffusion Models

Yunxiang Li, Hua‐Chieh Shao외 6명|arXiv (Cornell University)|2023. 04. 05.

Radiomics and Machine Learning in Medical Imaging인용 수 6

한 줄 요약

이 논문은 원천-대상 데이터 쌍이 필요로 하지 않는 제로샷 의료 영상 번역을 위해 고주파 및 저주파 필터를 도입한 주파수 유도 확산 모델(FGDM)을 제안한다. 확산 과정 중 고주파 및 저주파 필터를 활용하여 해부학적 구조를 유지한다. 원천 도메인 이미지에 대한 훈련 없이도 타겟 도메인 이미지만으로 훈련함으로써 CBCT에서 CT로, MR에서 MR로의 번역 작업에서 FID, PSNR, SSIM 측정치에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Recently, the diffusion model has emerged as a superior generative model that can produce high quality and realistic images. However, for medical image translation, the existing diffusion models are deficient in accurately retaining structural information since the structure details of source domain images are lost during the forward diffusion process and cannot be fully recovered through learned reverse diffusion, while the integrity of anatomical structures is extremely important in medical images. For instance, errors in image translation may distort, shift, or even remove structures and tumors, leading to incorrect diagnosis and inadequate treatments. Training and conditioning diffusion models using paired source and target images with matching anatomy can help. However, such paired data are very difficult and costly to obtain, and may also reduce the robustness of the developed model to out-of-distribution testing data. We propose a frequency-guided diffusion model (FGDM) that employs frequency-domain filters to guide the diffusion model for structure-preserving image translation. Based on its design, FGDM allows zero-shot learning, as it can be trained solely on the data from the target domain, and used directly for source-to-target domain translation without any exposure to the source-domain data during training. We evaluated it on three cone-beam CT (CBCT)-to-CT translation tasks for different anatomical sites, and a cross-institutional MR imaging translation task. FGDM outperformed the state-of-the-art methods (GAN-based, VAE-based, and diffusion-based) in metrics of Frechet Inception Distance (FID), Peak Signal-to-Noise Ratio (PSNR), and Structural Similarity Index Measure (SSIM), showing its significant advantages in zero-shot medical image translation.

연구 동기 및 목표

• 확산 과정에서 해부학적 세부 정보가 손실되는 문제를 해결하기 위해, 확산 모델이 전방 확산 중에 해부학적 세부 정보를 잃는 문제에 대응한다.
• 원천-대상 이미지 쌍이 필요 없이 타겟 도메인 데이터만으로 훈련함으로써 의료 영상 번역을 위한 제로샷 학습을 가능하게 한다.
• 확산 과정 중 주파수 도메인 필터링을 통해 고주파 세부 정보를 유지함으로써 번역된 영상의 구조적 정확도를 향상시킨다.
• 재훈련 없이도 분포 외의 원천 영상에 대해 잘 작동하는 강력하고 일반화 능력이 뛰어난 모델을 개발한다.
• 추론 시 동적으로 주파수 필터 임계값을 조정하여 현실성과 구조적 정확도의 균형을 이룬다.

제안 방법

• FGDM은 전방 확산 과정에서 손실되는 고주파 해부학적 세부 정보(예: 윤곽선, 종양)를 추출하고 유지하기 위해 고역통과 필터를 사용한다.
• 저역통과 필터는 저주파 구조적 내용을 유지하여 영상의 전체적인 형태와 강도 일관성을 확보한다.
• 모델은 타겟 도메인 이미지(예: CT 또는 MR)만으로 훈련되어, 미리 보지 않은 원천 도메인 이미지(예: CBCT)에 대해 제로샷 추론이 가능하다.
• 주파수 필터 임계값(고역통과용 η, 저역통과용 T̃)은 추론 시 조정 가능하여 구조적 정확도와 현실성의 균형을 맞춘다.
• 프레임워크는 확산 GAN 기반 아키텍처에 주파수 유도를 통합하여 고품질 영상 생성을 가능하게 하며, FID, PSNR, SSIM 측정치가 향상된다.
• 관찰된 바에 따르면 구조적 정보는 주로 중간 및 고주파 대역에 집중되어 있으며, 저주파 내용은 다양한 모odal 간에 일관성을 유지한다.

Figure 1: Examples of intensity domain and spatial frequency domain visualizations of three pairs of CBCT images and CT images from different datasets.

실험 결과

연구 질문

• RQ1 쌍이 없는 원천-대상 데이터를 사용할 때도 주파수 도메인 필터링이 확산 기반 의료 영상 번역에서 구조적 보존에 기여할 수 있는가?
• RQ2 타겟 도메인 이미지만으로 훈련된 확산 모델이 어떻게 새로운 원천 도메인 이미지에 대해 제로샷으로 일반화될 수 있는가?
• RQ3 의료 영상 번역에서 고주파 세부 정보 유지와 저주파 구조 일관성 간의 최적 균형은 무엇인가?
• RQ4 추론 시 주파수 필터 파rameter를 동적으로 조정하면 다양한 해부학적 부위와 영상 프로토콜에 걸쳐 성능 향상이 이루어지는가?
• RQ5 FGDM은 최신 기술(SOTA) 기반의 GAN, VAE, 확산 모델과 비교해 해부학적 정확도와 영상 품질을 얼마나 잘 유지하는가?

주요 결과

• FGDM은 모든 측정치에서 최신 기술(SOTA) 기반의 GAN, VAE, 확산 모델을 능가했으며, 세 가지 CBCT에서 CT로의 번역 작업에서 가장 낮은 Fréchet Inception Distance(FID)를 기록했다.
• 번역된 영상과 원천 도메인 CBCT 영상 간 비교 시, FGDM은 가장 높은 피크 신호 대비 잡음 비율(PSNR)과 구조적 유사도 지수 측정값-SSIM을 확보하여 뛰어난 구조적 정확도를 입증했다.
• FGDM은 분포 외 데이터에 대해서도 높은 성능을 유지했으며, 머리와 목 CT 데이터만으로 훈련된 모델이 재훈련 없이도 폐와 OARs의 CBCT 영상까지 성공적으로 번역했다.
• 최적의 고주파 임계값 η는 약 10인 것으로 밝혀졌으며, 이 범위 이하 또는 초과 시 아티팩트 생성 또는 정보 손실로 인해 영상 품질이 떨어졌다.
• 최적의 저주파 유지 단계 수 T̃는 4로 결정되었으며, 이는 원천 CBCT 영상과의 구조적 유사도와 타겟 CT 영상과의 강도 유사도 사이의 균형을 잘 맞추었다.
• 재훈련 없이도 추론 시 주파수 필터 파rameter를 조정할 수 있는 능력 덕분에, 다양한 해부학적 부위와 영상 프로토콜에 걸쳐 안정적인 성능을 발휘했다.

Figure 2: This illustration presents the statistical data of the Mean Squared Error (MSE) of frequency amplitudes between paired CBCT and CT across various spatial frequencies, derived from the frequency domains of three distinct datasets, where the first row is the average MSE distribution for the