[论文解读] A Cross-Modal Image Fusion Theory Guided by Human Visual Characteristics.

Aiqing Fang, Xinbo Zhao+1 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Image Fusion Techniques参考文献 59被引用 5

一句话总结

本文提出了一种受人类视觉感知启发的新型跨模态图像融合理论，将通道注意力、非线性特征融合与多任务辅助学习整合于一个多损失无监督网络中。该方法在红外-可见光及多焦点图像融合基准测试中均实现了最先进的鲁棒性与泛化性能。

ABSTRACT

The characteristics of feature selection, nonlinear combination and multi-task auxiliary learning mechanism of the human visual perception system play an important role in real-world scenarios, but the research of image fusion theory based on the characteristics of human visual perception is less. Inspired by the characteristics of human visual perception, we propose a robust multi-task auxiliary learning optimization image fusion theory. Firstly, we combine channel attention model with nonlinear convolutional neural network to select features and fuse nonlinear features. Then, we analyze the impact of the existing image fusion loss on the image fusion quality, and establish the multi-loss function model of unsupervised learning network. Secondly, aiming at the multi-task auxiliary learning mechanism of human visual perception system, we study the influence of multi-task auxiliary learning mechanism on image fusion task on the basis of single task multi-loss network model. By simulating the three characteristics of human visual perception system, the fused image is more consistent with the mechanism of human brain image fusion. Finally, in order to verify the superiority of our algorithm, we carried out experiments on the combined vision system image data set, and extended our algorithm to the infrared and visible image and the multi-focus image public data set for experimental verification. The experimental results demonstrate the superiority of our fusion theory over state-of-arts in generality and robustness.

研究动机与目标

• 为解决缺乏基于人类视觉感知特征（如特征选择、非线性组合与多任务学习）的图像融合理论的问题。
• 通过在深度学习架构中建模人类视觉系统多任务与非线性处理机制，提升融合质量。
• 开发一种鲁棒的无监督多损失优化框架，使其在多种图像融合任务中具备良好泛化能力。
• 在多个公开数据集（包括红外-可见光与多焦点图像对）上验证所提出的融合理论。

提出的方法

• 将通道注意力机制与非线性卷积神经网络结合，以选择性地突出并融合输入图像中的显著特征。
• 设计一种多损失函数用于无监督训练，通过优化结构、强度与梯度一致性来提升融合质量。
• 实现一种受人类视觉系统同时处理多种视觉线索能力启发的多任务辅助学习机制。
• 在神经网络架构中模拟人类视觉感知的三大核心特性——特征选择、非线性组合与多任务处理。
• 采用联合优化框架，将主融合损失与辅助任务损失相结合，以提升特征表示与融合精度。
• 采用自监督训练范式，无需成对的真实融合结果，从而实现对真实世界数据的广泛适用性。

实验结果

研究问题

• RQ1 如何在深度图像融合网络中有效建模人类视觉感知机制，如特征选择与非线性处理？
• RQ2 与单任务优化相比，多任务辅助学习对图像融合性能的影响是什么？
• RQ3 多损失无监督学习框架是否能在跨模态图像融合中超越现有最先进方法？
• RQ4 所提出的融合理论在不同图像融合任务（如红外-可见光与多焦点融合）中的泛化能力如何？
• RQ5 受人类视觉系统启发的组件在多大程度上提升了融合图像的鲁棒性与质量？

主要发现

• 所提方法在综合视觉系统数据集上的融合性能优于现有最先进方法。
• 通道注意力与非线性特征融合的结合显著增强了关键结构与强度细节的保留。
• 多任务辅助学习机制改善了特征表示，生成了更自然、更具信息量的融合图像。
• 多损失无监督框架在多种图像融合任务（包括红外-可见光与多焦点图像融合）中表现出强大的泛化能力。
• 该方法在定量指标与视觉质量上均优于现有技术，证实了其鲁棒性与有效性。