[논문 리뷰] Adaptive Latent Diffusion Model for 3D Medical Image to Image Translation: Multi-modal Magnetic Resonance Imaging Study

Jonghun Kim, Hyunjin Park|arXiv (Cornell University)|2023. 11. 01.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 패치 자르기 없이 다중 모odal MRI에서 고해상도의 일대다 번역을 가능하게 하는 적응형 잠재 확산 모델(Adaptive Latent Diffusion Model, ALDM)을 제안한다. 이 모델은 스위치 가능한 공간적 적응형 정규화(MS-SPADE) 블록을 사용하여, 전반적인 3D 해부학적 구조를 유지하면서도 높은 정밀도로 번역을 수행한다. ALDM은 BraTS 및 IXI 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하였으며, 정량적 지표와 다양한 소스-타겟 모달리티 쌍에 대한 일반화 능력에서 뛰어난 성능을 보였다.

ABSTRACT

Multi-modal images play a crucial role in comprehensive evaluations in medical image analysis providing complementary information for identifying clinically important biomarkers. However, in clinical practice, acquiring multiple modalities can be challenging due to reasons such as scan cost, limited scan time, and safety considerations. In this paper, we propose a model based on the latent diffusion model (LDM) that leverages switchable blocks for image-to-image translation in 3D medical images without patch cropping. The 3D LDM combined with conditioning using the target modality allows generating high-quality target modality in 3D overcoming the shortcoming of the missing out-of-slice information in 2D generation methods. The switchable block, noted as multiple switchable spatially adaptive normalization (MS-SPADE), dynamically transforms source latents to the desired style of the target latents to help with the diffusion process. The MS-SPADE block allows us to have one single model to tackle many translation tasks of one source modality to various targets removing the need for many translation models for different scenarios. Our model exhibited successful image synthesis across different source-target modality scenarios and surpassed other models in quantitative evaluations tested on multi-modal brain magnetic resonance imaging datasets of four different modalities and an independent IXI dataset. Our model demonstrated successful image synthesis across various modalities even allowing for one-to-many modality translations. Furthermore, it outperformed other one-to-one translation models in quantitative evaluations.

연구 동기 및 목표

• 비용, 시간 또는 안전성 제약로 인해 임상 현장에서 다중 모달리티 MRI 스캔이 누락되는 문제를 해결하기 위해.
• 2D GAN 기반 방법이 슬라이스 간 3D 구조 일致성을 유지하지 못하는 한계를 극복하기 위해.
• 재학습 없이도 여러 타겟 모달리티에 대해 일대다 영상 번역이 가능한 단일 유연한 모델을 개발하기 위해.
• 학습 및 추론 과정에서 패치 자르기를 제거하여 의료 영상 합성에서 전역적인 3D 맥락을 유지하기 위해.
• 적응형 스타일 제어를 활용한 잠재 확산을 통해 3D 의료 영상 간 번역의 성능과 일반화 능력을 향상시키기 위해.

제안 방법

• 모델은 전체 3D 의료 볼륨에 직접 작용하는 3D 잠재 확산 프레임워크를 사용하여 패치 기반 학습 및 추론을 피한다.
• 조건부 노이즈 제거 메커니즘을 적용하여 타겟 모달리티를 조건 신호로 사용해 생성 과정을 안내한다.
• 핵심 혁신은 MS-SPADE(Multiple Switchable Spatially Adaptive Normalization) 블록으로, 소스 잠재 벡터의 스타일을 타겟 모달리티의 분포에 맞게 동적으로 조정한다.
• MS-SPADE는 타겟 모달리티에 따라 정규화 통계를 스위칭함으로써 하나의 모델이 T1 → T2, T1 → FLAIR 등의 여러 번역 작업을 처리할 수 있도록 한다.
• 학습된 코드북을 갖춘 VQ-VAE 기반의 잠재 버블릿을 사용하여 효율적인 3D 잠재 공간 표현을 구현한다.
• L2 손실와 VQ 정규화 손실의 조합을 통해 고해상도 재구성과 분리된 의미론적 잠재 특징을 확보한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 여러 소스-타겟 모달리티 번역 작업에 일반화할 수 있는 단일 3D 잠재 확산 모델이 가능한가?
• RQ2 MS-SPADE 블록의 사용이 3D 의료 영상 합성에서 성능 향상과 일대다 번역을 가능하게 하는가?
• RQ3 기존의 2D 및 3D GAN 기반 방법과 비교해 본다면, 제안된 모델은 영상 품질과 구조 일치성 측면에서 어떤가?
• RQ4 패치 자르기를 피하면서도 전역 해부학적 맥락을 유지하는 고해상도 3D 영상을 생성할 수 있는가?
• RQ5 각 구성 요소(확산, 팔레트, MS-SPADE, 압축)가 최종 번역 성능에 기여하는 정도는 어떠한가?

주요 결과

• 모든 비교 방법 중에서 T1 → T2 번역 작업에서 최고의 PSNR(25.818 ± 0.857), 최저의 NMSE(0.079 ± 0.016), 최고의 SSIM(0.904 ± 0.012)를 기록하였다.
• T1 → T1ce 번역 작업에서 PSNR가 25.818 ± 0.857을 기록하여, 모든 아블레이션 버전과 베이스라인 모델을 모두 능가하였다.
• T1ce를 소스 모달리티로 사용하여 T1, T1ce, T2, FLAIR 타겟을 생성할 때도 모델이 뛰어난 성능을 보였으며, 이는 모델의 강건성과 일반화 능력을 시사한다.
• 아블레이션 연구를 통해 전체 구성 요소(확산, 팔레트, MS-SPADE, VQ 정규화)를 모두 포함한 모델이 최고의 성능을 기록하였으며, 각 구성 요소가 점진적으로 기여하는 것으로 확인되었다.
• 모델은 단일 통합 아키텍처를 사용하여 하나의 소스 입력에서 여러 타겟 모달리티를 동시에 생성함으로써 일대다 번역을 성공적으로 수행하였다.
• BraTS 및 IXI 데이터셋에서 기존의 일대일 번역 모델을 모두 능가하였으며, 정량적 지표와 시각적 품질 측면에서 최신 기술 수준의 성능을 입증하였다.