[論文レビュー] DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion

Zixiang Zhao, Haowen Bai+8 more|arXiv (Cornell University)|Mar 13, 2023

Advanced Image Fusion Techniques被引用数 10

ひとこと要約

DDFMは、マルチモーダル画像融合のためのDDPMベースの後方サンプリングフレームワークを導入し、無条件拡散サンプリングとEM手法による尤度 rectification を組み合わせ、生成モデルの微調整なしに高品質な IVF および MIF 融合を可能にする。

ABSTRACT

Multi-modality image fusion aims to combine different modalities to produce fused images that retain the complementary features of each modality, such as functional highlights and texture details. To leverage strong generative priors and address challenges such as unstable training and lack of interpretability for GAN-based generative methods, we propose a novel fusion algorithm based on the denoising diffusion probabilistic model (DDPM). The fusion task is formulated as a conditional generation problem under the DDPM sampling framework, which is further divided into an unconditional generation subproblem and a maximum likelihood subproblem. The latter is modeled in a hierarchical Bayesian manner with latent variables and inferred by the expectation-maximization (EM) algorithm. By integrating the inference solution into the diffusion sampling iteration, our method can generate high-quality fused images with natural image generative priors and cross-modality information from source images. Note that all we required is an unconditional pre-trained generative model, and no fine-tuning is needed. Our extensive experiments indicate that our approach yields promising fusion results in infrared-visible image fusion and medical image fusion. The code is available at \url{https://github.com/Zhaozixiang1228/MMIF-DDFM}.

研究の動機と目的

• GANベース手法を用いたマルチモーダル画像融合（MMIF）における不安定な学習や解釈性の欠如などの課題を動機づけ、対処する。
• 自然画像事前分布を活用するMMIF向けのDDPMベースの後方サンプリングモデルを提案する。
• 拡散サンプリングをソース画像の整合性へ導くためのEMアルゴリズムを用いた尤度 rectification 機構を開発する。
• 事前学習済み生成モデルの微調整を行わずに融合品質を保証し、IVFおよびMIFタスクへの適用性を示す。
• IVFおよびMIFデータセットを横断する広範な実験的検証を提供し、競争力のある性能を示す。

提案手法

• MMIFを、denoising diffusion probabilistic model (DDPM) フレームワークの下で条件付き生成問題として定式化する。
• サンプリングを、無条件生成問題と最大尤度推定(尤度 rectification)問題に分解する。
• 潜在変数を用いた階層ベイズ推定による尤度 rectification をモデル化し、EMアルゴリズムで解く。
• EM推定から導かれた推論解を拡散サンプリングループに組み込み、融合が自然画像事前分布と異種モダリティ情報の両方を尊重するようにする。
• 無条件の事前学習済み拡散モデルのみを要求し、微調整は不要。

実験結果

リサーチクエスチョン

• RQ1 対立的訓練を用いずに、DDPMベースの後方サンプリングは交差モダリティ情報を保持した高品質な融合画像を生み出せるか？
• RQ2 ソースモダリティと一致を強制するよう、拡散フレームワークで尤度 rectificationをどのように定式化し推定するか？
• RQ3 EMベースの推論を拡散サンプリングに統合することは、無条件拡散やGANベース手法と比較してIVFおよびMIFの融合品質を向上させるか？
• RQ4 ターゲットデータの微調整なしで、DDFMはIVFおよびMIFベンチマークでどれだけ良く機能するか？

主な発見

• DDFMは一貫して好ましい融合結果を提供し、ソース画像の構造と質感を保存しつつ視覚的忠実度を維持する。
• この手法は複数のデータセットにわたりIVFと医用画像融合タスクで高い性能を示す。
• EMによる尤度 rectification は拡散サンプリングループ内に埋め込むことができ、識別器トレーニングなしに条件付き生成を可能にする。
• 微調整を必要とせず、事前学習済みの無条件拡散モデルを用いて安定的で制御可能な融合生成を達成する。
• アブレーション研究は、EMベースの尤度 rectification と階層ベイズ推定の寄与が融合品質にあることを示す。