[논문 리뷰] DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion

Zixiang Zhao, Haowen Bai외 8명|arXiv (Cornell University)|2023. 03. 13.

Advanced Image Fusion Techniques인용 수 10

한 줄 요약

DDFM은 다중 모달리티 이미지 융합을 위한 DDPM 기반 후처리 샘플링 프레임워크를 도입하며, 무조건적 확산 샘플링을 EM 절차를 통한 가능도 보정(Likelihood Rectification)과 결합하여, 생성 모델의 미세 조정 없이도 고품질 IVF 및 MIF 융합을 가능하게 한다.

ABSTRACT

Multi-modality image fusion aims to combine different modalities to produce fused images that retain the complementary features of each modality, such as functional highlights and texture details. To leverage strong generative priors and address challenges such as unstable training and lack of interpretability for GAN-based generative methods, we propose a novel fusion algorithm based on the denoising diffusion probabilistic model (DDPM). The fusion task is formulated as a conditional generation problem under the DDPM sampling framework, which is further divided into an unconditional generation subproblem and a maximum likelihood subproblem. The latter is modeled in a hierarchical Bayesian manner with latent variables and inferred by the expectation-maximization (EM) algorithm. By integrating the inference solution into the diffusion sampling iteration, our method can generate high-quality fused images with natural image generative priors and cross-modality information from source images. Note that all we required is an unconditional pre-trained generative model, and no fine-tuning is needed. Our extensive experiments indicate that our approach yields promising fusion results in infrared-visible image fusion and medical image fusion. The code is available at \url{https://github.com/Zhaozixiang1228/MMIF-DDFM}.

연구 동기 및 목표

• GAN 기반 방법에서의 불안정한 학습과 해석 가능성 부족 등 MMIF의 과제를 동기부여하고 해결한다.
• Natural image priors를 활용한 MMIF를 위한 DDPM 기반 후처샘플링 모델을 제안한다.
• 확산 샘플링을 소스 이미지 일치로 이끄는 EM 알고리즘을 이용한 가능도 보정 메커니즘을 개발한다.
• 사전 학습된 생성 모델의 미세 조정 없이 융합 품질을 보장하고 IVF 및 MIF 태스크에 적용 가능성을 입증한다.
• IVF 및 MIF 데이터셋에 걸친 광범위한 실험 검증을 통해 경쟁력 있는 성능을 보여준다.

제안 방법

• DDPM 프레임워크 하에서 MNIF를 조건부 생성 문제로 형상화한다.
• 무조건적 생성 하위 문제와 최대가능도(가능도 보정) 하위 문제로 샘플링을 분해한다.
• 잠재 변수를 갖는 위계적 베이즈 구성으로 가능도 보정을 모델링하고 EM 알고리즘으로 해결한다.
• EM에서 도출된 추론 해를 확산 샘플링 루프에 통합하여 융합이 자연 이미지 priors와 교차 모달 정보를 모두 존중하도록 한다.
• 사전 학습된 무조건적 확산 모델만 필요하며 미세 조정은 필요하지 않다.

실험 결과

연구 질문

• RQ1 DDPM 기반의 후처샘플링이 적대적 학습 없이도 모달 간 정보를 보존하는 고품질 융합 이미지를 생성할 수 있는가?
• RQ2 확산 프레임워크에서 소스 모달리티와의 합의를 강제하기 위해 가능도 보정을 어떻게 형식화하고 추론할 수 있는가?
• RQ3 EM 기반 추론을 확산 샘플링에 통합하면 무조건적 확산이나 GAN 기반 방법에 비해 IVF 및 MIF 융합 품질이 향상되는가?
• RQ4 目标 데이터에 대해 파인튜닝 없이 DDFM은 IVF 및 MIF 벤치마크에서 얼마나 잘 수행하는가?

주요 결과

• DDFM은 소스 이미지의 구조와 질감을 보존하면서 시각적 충실도를 유지하는 융합 결과를 일관되게 제공한다.
• 이 접근법은 여러 데이터셋에서 IVF 및 의학 영상 융합 작업에서 강력한 성능을 보여준다.
• EM을 통한 가능도 보정은 확산 샘플링 루프 안에 삽입되어 판별자 학습 없이 조건부 생성을 가능하게 한다.
• 사전 학습된 무조건적 확산 모델을 사용하더라도 미세 조정이 필요 없으며 안정적이고 제어 가능한 융합 생성을 달성한다.
• 절삭 연구(Ablation studies)는 EM 기반 가능도 보정과 위계적 베이즈 구성의 융합 품질 기여를 보여준다.