[论文解读] From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion

X. Rong Li, Yang Zou+5 more|arXiv (Cornell University)|Dec 31, 2023

Advanced Image Fusion Techniques被引用 4

一句话总结

本文提出了一种文本引导的、上下文感知的语义协同框架，用于红外与可见光图像融合，通过利用CLIP编码的文本描述来增强特征对齐和目标检测性能。通过引入码本实现特征离散化，并采用双层优化策略联合优化融合与检测任务，该方法在多个基准测试中实现了最先进（SOTA）的mAP表现，其主要贡献之一是推出了全新的配对式IVIF+text数据集。

ABSTRACT

With the rapid progression of deep learning technologies, multi-modality image fusion has become increasingly prevalent in object detection tasks. Despite its popularity, the inherent disparities in how different sources depict scene content make fusion a challenging problem. Current fusion methodologies identify shared characteristics between the two modalities and integrate them within this shared domain using either iterative optimization or deep learning architectures, which often neglect the intricate semantic relationships between modalities, resulting in a superficial understanding of inter-modal connections and, consequently, suboptimal fusion outcomes. To address this, we introduce a text-guided multi-modality image fusion method that leverages the high-level semantics from textual descriptions to integrate semantics from infrared and visible images. This method capitalizes on the complementary characteristics of diverse modalities, bolstering both the accuracy and robustness of object detection. The codebook is utilized to enhance a streamlined and concise depiction of the fused intra- and inter-domain dynamics, fine-tuned for optimal performance in detection tasks. We present a bilevel optimization strategy that establishes a nexus between the joint problem of fusion and detection, optimizing both processes concurrently. Furthermore, we introduce the first dataset of paired infrared and visible images accompanied by text prompts, paving the way for future research. Extensive experiments on several datasets demonstrate that our method not only produces visually superior fusion results but also achieves a higher detection mAP over existing methods, achieving state-of-the-art results.

研究动机与目标

• 解决现有多模态图像融合方法在建模红外与可见光图像之间深层语义关系方面的局限性。
• 通过利用文本描述中的高层语义信息来引导融合过程，从而提升目标检测的准确性。
• 建立一个联合优化框架，同时提升图像融合质量与下游检测性能。
• 构建首个包含红外图像、可见光图像及对应文本提示图像的配对数据集，以推动多模态融合研究。

提出的方法

• 利用CLIP模型将文本提示编码为高层语义嵌入，以指导红外与可见光图像之间的特征融合。
• 采用码本对连续的特征表示进行离散化，提升检测任务的训练效率与泛化能力。
• 同时应用自注意力与交叉注意力机制，以增强模态内与模态间特征的学习能力。
• 实施双层优化策略，联合优化融合与检测目标，实现端到端的性能提升。
• 引入两种损失函数：内容一致性损失用于保持输入的保真度，结构损失用于稳定训练过程。
• 设计双分支网络架构，分别处理红外与可见光输入，随后在文本引导下进行特征融合。

实验结果

研究问题

• RQ1 文本描述能否显著提升红外与可见光图像融合中的语义对齐与融合质量？
• RQ2 与顺序或独立训练相比，通过双层学习联合优化融合与检测任务，能否显著提升下游检测性能？
• RQ3 自注意力与交叉注意力机制在融合过程中对特征精炼与模态交互的贡献程度如何？
• RQ4 基于CLIP的文本引导在聚焦融合网络于显著且语义相关的特征方面效果如何？
• RQ5 不同类型的文本提示（粗粒度 vs. 细粒度）对检测准确率与融合质量的影响如何？

主要发现

• 所提方法在M3FD数据集上实现了最先进（SOTA）的mAP为0.517，优于先前方法。
• 消融实验表明，同时使用自注意力与交叉注意力机制相比仅使用单一机制，mAP提升了0.099。
• 同时包含内容一致性损失与结构损失的训练相比不使用任一损失的训练，mAP提升了0.090。
• 使用微调后文本提示的模型在某些情况下能比真实标注更准确地检测出此前未标记的物体。
• 可视化结果表明，文本提示能增强图像亮度并突出关键特征，从而提升感知融合质量。
• 新推出的配对式IVIF+text数据集为更稳健的评估与未来文本引导的多模态融合研究提供了支持。