[논문 리뷰] CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis

Lan Jiang, Mao Ye외 3명|arXiv (Cornell University)|2023. 03. 24.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

CoLa-Diff는 메모리 사용을 줄이고 효율성을 향상시키기 위해 잠재공간에서 작동하는 다중 모odal MRI 합성의 새로운 조건부 잠재 확산 모델을 제안한다. 뇌 영역 마스크를 통한 구조적 가이던스와 다중 조건 균형을 위한 자동 가중치 적응을 통합하여, 뛰어난 해부학적 정확성과 영상 품질을 갖춘 부족한 MRI 모달리티를 합성하는 데 최고 성능을 달성한다.

ABSTRACT

MRI synthesis promises to mitigate the challenge of missing MRI modality in clinical practice. Diffusion model has emerged as an effective technique for image synthesis by modelling complex and variable data distributions. However, most diffusion-based MRI synthesis models are using a single modality. As they operate in the original image domain, they are memory-intensive and less feasible for multi-modal synthesis. Moreover, they often fail to preserve the anatomical structure in MRI. Further, balancing the multiple conditions from multi-modal MRI inputs is crucial for multi-modal synthesis. Here, we propose the first diffusion-based multi-modality MRI synthesis model, namely Conditioned Latent Diffusion Model (CoLa-Diff). To reduce memory consumption, we design CoLa-Diff to operate in the latent space. We propose a novel network architecture, e.g., similar cooperative filtering, to solve the possible compression and noise in latent space. To better maintain the anatomical structure, brain region masks are introduced as the priors of density distributions to guide diffusion process. We further present auto-weight adaptation to employ multi-modal information effectively. Our experiments demonstrate that CoLa-Diff outperforms other state-of-the-art MRI synthesis methods, promising to serve as an effective tool for multi-modal MRI synthesis.

연구 동기 및 목표

• 임상에서 부족한 MRI 모달리티 문제를 해결하기 위해 자료 효율적이고 다중 모달 합성을 가능하게 한다.
• 픽셀 공간에서 작동하는 기존 확산 모델의 한계를 극복한다. 이는 높은 메모리 비용을 수반하며 해부학적 구조를 유지하지 못한다.
• 조건부 학습을 통해 여러 MRI 대비(예: T1, T2, FLAIR)를 효과적으로 융합하여 목표로 하는 부족한 모달리티를 합성하는 방법을 개발한다.
• 구조적 사전 지식과 적응형 조건 가중치를 도입하여 다중 모달 입력의 균형을 맞추어 일반화 능력과 강건성을 향상시킨다.
• 잠재공간 연산과 지식 정복을 통해 빠르고 고해상도의 MRI 합성을 실현하여 임상 적용에 적합하게 한다.

제안 방법

• 변동형 자동인코더(VAE) 인코더와 디코더를 사용해 MRI 영상을 압축하고 재구성함으로써 잠재공간에서 작동하여 메모리 소비를 감소시킨다.
• 잠재공간에서 노이즈 제거 과정 중 정보 손실과 노이즈 증폭을 완화하기 위해 '유사 협동 필터링'을 적용한 수정된 잠재 확산 네트워크를 도입한다.
• 뇌 영역 마스크를 구조적 사전 지식으로 통합하여 확산 과정을 안내함으로써 생성된 영상 간의 해부학적 일致성을 유지한다.
• 다양한 입력 모달리티(T1, T2, FLAIR 등)의 영향을 동적으로 균형 잡기 위해 자동 가중치 적응을 활용하여 관련 특징의 활용도를 극대화한다.
• 빠른 추론을 위해 지식 정복을 적용하여 합성 품질을 훼손하지 않은 채 추론 속도를 향상시킨다.
• 다중 모달 입력과 구조적 마스크에 조건부로 작동하는 U-Net 아키텍처를 사용해 역확산 과정에서 단계적으로 목표 MRI 모달리티를 생성한다.

실험 결과

연구 질문

• RQ1 다수의 입력 대비를 다수의 목표 모달리티로 변환하는 many-to-one 설정에서, 확산 기반 모델이 부족한 MRI 모달리티를 효과적으로 합성할 수 있는가?
• RQ2 잠재공간은 다중 모달 MRI 합성에서 메모리 소비를 줄이고 학습/추론 효율성을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ3 뇌 영역 마스크와 같은 구조적 사전 지식이 생성된 MRI 영상의 해부학적 일치성에 얼마나 기여하는가?
• RQ4 확산 과정에서 여러 입력 모달리티가 서로 지배적인 영향을 미치지 않도록 효과적으로 균형을 맞출 수 있는가?
• RQ5 자동 가중치 적응은 모델이 관련 다중 모달 정보를 효과적으로 활용하고 다양한 입력 조합에 일반화하는 데 도움이 되는가?

주요 결과

• CoLa-Diff는 BRATS 및 IXI 데이터셋에서 기존 방법을 능가하는 최고 성능을 달성하여 PSNR 최대 6.01 dB 향상되고 SSIM은 5.74% 향상되었다.
• BRATS 데이터셋에서 CoLa-Diff는 T2+T1ce+FLAIR 입력으로부터 T1ce를 합성할 때 PSNR 28.26±3.13 dB, SSIM 93.65±3.02%를 기록했으며, 다음으로 우수한 모델인 ProvoGAN에 비해 PSNR 0.81 dB 향상되고 SSIM 0.82% 향상되었다.
• IXI 데이터셋에서 CoLa-Diff는 T1+T2 입력으로부터 PD를 합성할 때 PSNR 32.24±2.95 dB, SSIM 96.95±2.26%를 달성했으며, 최고의 베이스라인인 Hi-Net에 비해 PSNR 0.45 dB 향상되고 SSIM 0.44 포인트 향상되었다.
• 제거 실험 결과 자동 가중치 적응이 가장 크게 기여했으며, BRATS T1+T1ce+FLAIR→T2 작업에서 PSNR는 1.9450 dB 향상되고 SSIM은 4.0808% 향상되었다.
• 입력 모달리티 수가 증가할수록 성능 향상이 관찰되었다: BRATS에서 PSNR는 T1 단독 입력 시 26.6355 dB에서 T1+T1ce+FLAIR 입력 시 28.3126 dB로 상승했고, IXI에서는 32.1640 dB에서 32.8721 dB로 상승하여 다중 모달 융합의 효과를 입증했다.
• 정성적 결과는 복잡한 해부학적 구조(예: 수선, 종양 경계)의 우수한 유지 능력을 보이며, 기존 베이스라인 대비 오차 맵에서 더 적은 오류를 기록했다.