[논문 리뷰] Unsupervised Medical Image Translation with Adversarial Diffusion Models

Muzaffer Özbey, Onat Dalmaz외 5명|arXiv (Cornell University)|2022. 07. 17.

Generative Adversarial Networks and Image Synthesis인용 수 32

한 줄 요약

SynDiff는 비지도 의료 영상 변환을 위한 조건부 적대적 확산 프레임워크를 도입하여 비쌍 데이터로도 원본 모달리티와 목표 모달리티 간의 고충실 맵핑을 가능하게 한다. 빠른, 적대적 확산 프로세스와 주기적 일관성의 비확산 모듈을 결합하여 다중대조 MRI와 MRI-CT와 같은 모달리티 간 변환을 수행한다.

ABSTRACT

Imputation of missing images via source-to-target modality translation can improve diversity in medical imaging protocols. A pervasive approach for synthesizing target images involves one-shot mapping through generative adversarial networks (GAN). Yet, GAN models that implicitly characterize the image distribution can suffer from limited sample fidelity. Here, we propose a novel method based on adversarial diffusion modeling, SynDiff, for improved performance in medical image translation. To capture a direct correlate of the image distribution, SynDiff leverages a conditional diffusion process that progressively maps noise and source images onto the target image. For fast and accurate image sampling during inference, large diffusion steps are taken with adversarial projections in the reverse diffusion direction. To enable training on unpaired datasets, a cycle-consistent architecture is devised with coupled diffusive and non-diffusive modules that bilaterally translate between two modalities. Extensive assessments are reported on the utility of SynDiff against competing GAN and diffusion models in multi-contrast MRI and MRI-CT translation. Our demonstrations indicate that SynDiff offers quantitatively and qualitatively superior performance against competing baselines.

연구 동기 및 목표

• 진단 평가 및 프로토콜 다양성 향상을 목표로 다중 모달 이미징을 촉진합니다.
• 데이터 기반 사전지식을 활용하여 모달리티 간의 불정형적이고 비선형적인 타깃 합성을 다룹니다.
• 해부학적 일관성을 보존하면서 비쌍 소스-타깃 데이터셋에서 비지도 번역을 가능하게 합니다.

제안 방법

• SynDiff를 제안합니다. 큰 스텝 크기 k를 통해 빠른 샘플링을 제공하는 조건부 확산 모델입니다.
• 소스 이미지를 가이드로 사용하여 노이즈를 제거하는 소스-조건부 적대적 프로젝터를 도입합니다.
• 확산 모듈과 비확산 모듈을 결합한 주기적 일관성 아키텍처를 사용하여 비쌍 학습을 가능하게 합니다.
• 타깃으로부터 대응하는 소스 이미지를 추정하는 비확산 모듈을 활용하여 비지도 학습을 가능하게 합니다.
• 두 모달리티에 걸친 주기일관성과 적대적 손실을 함께 학습합니다.

실험 결과

연구 질문

• RQ1 SynDiff가 비쌍 데이터를 사용하여 모달리티 간의 고충실하고 현실적인 번역을 달성할 수 있습니까?
• RQ2 적대적 프로젝션이 적용된 조건부 확산이 표준 확산 모형보다 샘플링 효율성과 정확도를 향상시키나요?
• RQ3 제안된 주기일관 아키텍처가 다중 대조 MRI 및 MRI-CT 번역의 비지도 학습에서 얼마나 잘 작동합니까?
• RQ4 이미지 품질과 다양성 측면에서 SynDiff가 GAN 및 확산 기반 비교대안들과 어떻게 비교됩니까?

주요 결과

• SynDiff는 경쟁 기본대안에 비해 정량적 및 정성적 성능이 우수합니다.
• 이 접근법은 비쌍 데이터를 사용하여 다중 대조 MRI와 MRI-CT 간의 효과적인 변환을 가능하게 합니다.
• 큰 스텝 크기를 가진 빠른 확산 스킴과 적대적 프로젝터가 샘플링 충실도를 유지합니다.
• 결합된 확산 및 비확산 모듈로 구성된 주기일관 프레임워크가 비지도 학습을 가능하게 합니다.
• 해당 방식은 해부학적으로 대응하는 소스 이미지를 안내로 삼아 고충실 타깃 이미지를 제공합니다.
• SynDiff의 코드가 공개되어 있습니다.