[论文解读] DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion

Zixiang Zhao, Haowen Bai+8 more|arXiv (Cornell University)|Mar 13, 2023

Advanced Image Fusion Techniques被引用 10

一句话总结

DDFM 引入基于 DDPM 的后验采样框架用于多模态图像融合，结合无条件扩散采样与通过 EM 程序的似然校正，使得在不对生成模型微调的情况下实现高质量的 IVF 和 MIF 融合。

ABSTRACT

Multi-modality image fusion aims to combine different modalities to produce fused images that retain the complementary features of each modality, such as functional highlights and texture details. To leverage strong generative priors and address challenges such as unstable training and lack of interpretability for GAN-based generative methods, we propose a novel fusion algorithm based on the denoising diffusion probabilistic model (DDPM). The fusion task is formulated as a conditional generation problem under the DDPM sampling framework, which is further divided into an unconditional generation subproblem and a maximum likelihood subproblem. The latter is modeled in a hierarchical Bayesian manner with latent variables and inferred by the expectation-maximization (EM) algorithm. By integrating the inference solution into the diffusion sampling iteration, our method can generate high-quality fused images with natural image generative priors and cross-modality information from source images. Note that all we required is an unconditional pre-trained generative model, and no fine-tuning is needed. Our extensive experiments indicate that our approach yields promising fusion results in infrared-visible image fusion and medical image fusion. The code is available at \url{https://github.com/Zhaozixiang1228/MMIF-DDFM}.

研究动机与目标

• 在 GAN 基方法的多模态图像融合（MMIF）中存在的训练不稳定性和缺乏解释性等挑战进行动机说明与解决。
• 提出一个基于 DDPM 的 MMIF 后验采样模型，利用自然图像先验。
• 开发一个利用 EM 算法的似然校正机制，引导扩散采样朝向源图像的一致性。
• 在不对预训练生成模型进行微调的情况下确保融合质量，并展示其在 IVF 与 MIF 任务中的适用性。
• 在 IVF 和 MIF 数据集上进行广泛的实验验证，展示具有竞争力的性能。

提出的方法

• 将 MMIF 在 DDPM 框架下形式化为一个条件生成问题。
• 将采样分解为一个无条件生成子问题和一个最大似然（似然校正）子问题。
• 通过带潜变量的分层贝叶斯公式建模似然校正，并用 EM 算法求解。
• 将 EM 推导的推理解融入扩散采样循环，使融合同时遵循自然图像先验和跨模态信息。
• 只需要一个无条件的预训练扩散模型；不需要微调。

实验结果

研究问题

• RQ1 基于 DDPM 的后验采样是否能够在不进行对抗训练的情况下产出高质量的融合图像，同时保留跨模态信息？
• RQ2 如何在扩散框架中形式化并推断似然校正以实现与源模态的一致性？
• RQ3 将基于 EM 的推理整合到扩散采样中，是否提升了 IVF 和 MIF 融合质量，相较于无条件扩散或基于 GAN 的方法？
• RQ4 在不对目标数据进行微调的情况下，DDFM 在 IVF 和 MIF 基准上的表现如何？

主要发现

• DDFM 一贯提供有利的融合结果，保留源图像的结构和纹理，同时保持视觉保真度。
• 该方法在多个数据集上对 IVF 与医学图像融合任务表现出强劲的性能。
• 通过 EM 的似然校正可以被嵌入到扩散采样循环中，从而在不进行判别器训练的情况下实现条件生成。
• 该方法在使用预训练的无条件扩散模型且无需微调的情况下，实现了稳定且可控的融合生成。
• 消融研究显示基于 EM 的似然校正与分层贝叶斯公式对融合质量的贡献。