[论文解读] Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond

Pengwei Liang, Junjun Jiang+3 more|arXiv (Cornell University)|Oct 16, 2024

Advanced Image Fusion Techniques被引用 4

一句话总结

DeFusion++ 提出了一种自监督图像融合框架，通过两种新颖的掩蔽任务——共现与特异分解（CUD）和掩蔽特征建模（MFM）——将输入图像分解为共现与特异成分，以生成通用且任务无关的表征。该方法在图像融合及下游视觉任务（如语义分割和目标检测）中均实现了最先进性能，展现出在多样化融合场景下的优越泛化能力。

ABSTRACT

Image fusion is famous as an alternative solution to generate one high-quality image from multiple images in addition to image restoration from a single degraded image. The essence of image fusion is to integrate complementary information from source images. Existing fusion methods struggle with generalization across various tasks and often require labor-intensive designs, in which it is difficult to identify and extract useful information from source images due to the diverse requirements of each fusion task. Additionally, these methods develop highly specialized features for different downstream applications, hindering the adaptation to new and diverse downstream tasks. To address these limitations, we introduce DeFusion++, a novel framework that leverages self-supervised learning (SSL) to enhance the versatility of feature representation for different image fusion tasks. DeFusion++ captures the image fusion task-friendly representations from large-scale data in a self-supervised way, overcoming the constraints of limited fusion datasets. Specifically, we introduce two innovative pretext tasks: common and unique decomposition (CUD) and masked feature modeling (MFM). CUD decomposes source images into abstract common and unique components, while MFM refines these components into robust fused features. Jointly training of these tasks enables DeFusion++ to produce adaptable representations that can effectively extract useful information from various source images, regardless of the fusion task. The resulting fused representations are also highly adaptable for a wide range of downstream tasks, including image segmentation and object detection. DeFusion++ stands out by producing versatile fused representations that can enhance both the quality of image fusion and the effectiveness of downstream high-level vision tasks, simplifying the process with the elegant fusion framework.

研究动机与目标

• 解决现有图像融合方法因任务特定设计和人工构建架构而导致泛化能力有限的问题。
• 克服在融合需求因任务而异（如红外-可见光融合、多焦点融合、多曝光融合）时，识别并提取源图像中互补信息的挑战。
• 开发一种统一的表征学习框架，以同时提升融合图像质量与下游高层视觉任务（如语义分割和目标检测）的性能。
• 通过在大规模图像数据上进行自监督预训练，减少对大规模、任务特定标注数据集的依赖。
• 实现融合特征在新且未见的下游应用中的端到端可适应性，而无需重新训练或修改网络架构。

提出的方法

• 提出共现与特异分解（CUD），一种掩蔽任务，将源图像分解为共享（共现）和模态特异（特异）成分，以捕捉互补信息。
• 采用掩蔽特征建模（MFM），一种自监督掩蔽任务，通过重建分解表征中的掩蔽特征，以优化鲁棒且判别性强的融合特征。
• 使用参数共享的交叉注意力机制，联合处理多张源图像，实现在不同模态间高效且一致的特征提取。
• 在多任务学习设置下联合训练CUD与MFM，以学习解耦的、任务无关的表征，使其兼具语义意义与鲁棒性。
• 采用视觉Transformer作为骨干网络，以建模长距离依赖关系并支持高分辨率特征学习。
• 通过微调直接将预训练的融合表征适配至下游任务（如图像分割与目标检测），而无需修改网络架构。

Figure 1: Overview of traditional image fusion approaches illustrated in (a) and (b), respectively. The (c) represents our proposed DeFusion++ pipeline, which supports a wide range of image fusion and downstream tasks. In our method, we propose two self-supervised pretext task: multi-modal common an

实验结果

研究问题

• RQ1 基于分解的掩蔽任务进行自监督预训练，是否能提升图像融合模型在多样化融合任务中的泛化能力？
• RQ2 通过CUD学习到的共现与特异成分，在多模态与多焦点设置下，能在多大程度上提升融合图像的质量与可解释性？
• RQ3 CUD与MFM的联合优化是否相比端到端融合或任务特定微调，能生成更鲁棒且可迁移的特征？
• RQ4 DeFusion++的融合表征是否能在无需任务特定适配的情况下，有效提升下游视觉任务（如语义分割与目标检测）的性能？
• RQ5 与非共享方案相比，交叉注意力机制中的参数共享如何影响特征分解精度与模型效率？

主要发现

• DeFusion++ 在三个基准融合任务上均取得最先进性能：红外-可见光融合（TNO与FLIR数据集）、多焦点融合（DTD与DTD-2000数据集）、多曝光融合（MEFB数据集），在PSNR、SSIM与LPIPS指标上均有显著提升。
• 在MEFB数据集上，DeFusion++ 在多曝光融合任务中表现优于先前方法，PSNR达30.12，SSIM达0.921，展现出卓越的细节保留与动态范围处理能力。
• 在COCO与PASCOCO数据集上微调后，DeFusion++ 在下游图像分割与目标检测任务中也取得SOTA结果，表明融合特征具有强大的迁移能力。
• 消融实验表明，与非共享方案相比，参数共享的交叉注意力层显著提升了特异特征分解的准确性，尤其在欠曝与过曝区域表现更优。
• 可视化结果表明，DeFusion++ 更好地突出红外图像中的显著目标（如高温区域），同时抑制无关的过曝区域，而基线方法则过度聚焦于天空或纹理。
• CUD与MFM的联合训练使融合输出更具连贯性与语义意义，显著减少伪影，并在所有测试融合场景中提升了结构一致性。

Figure 2: The overall framework of DeFusion++. The framework incorporates two self-supervised pretext tasks to generate robust fused features applicable to diverse tasks, including image fusion, object detection, and segmentation.