[论文解读] AE-Net: Autonomous Evolution Image Fusion Method Inspired by Human Cognitive Mechanism

Aiqing Fang, Xinbo Zhao+3 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Image Fusion Techniques参考文献 58被引用 4

一句话总结

AE-Net 提出了一种受人类大脑认知机制启发的新型图像融合方法，通过多方法协作、多指标评估和迭代学习实现自主演化。该方法将无监督图像融合转化为半监督任务，显著提升了在红外-可见光、多焦点和医学影像等多种数据集上的鲁棒性和泛化能力。

ABSTRACT

In order to solve the robustness and generality problems of the image fusion task,inspired by the human brain cognitive mechanism, we propose a robust and general image fusion method with autonomous evolution ability, and is therefore denoted with AE-Net. Through the collaborative optimization of multiple image fusion methods to simulate the cognitive process of human brain, unsupervised learning image fusion task can be transformed into semi-supervised image fusion task or supervised image fusion task, thus promoting the evolutionary ability of network model weight. Firstly, the relationship between human brain cognitive mechanism and image fusion task is analyzed and a physical model is established to simulate human brain cognitive mechanism. Secondly, we analyze existing image fusion methods and image fusion loss functions, select the image fusion method with complementary features to construct the algorithm module, establish the multi-loss joint evaluation function to obtain the optimal solution of algorithm module. The optimal solution of each image is used to guide the weight training of network model. Our image fusion method can effectively unify the cross-modal image fusion task and the same modal image fusion task, and effectively overcome the difference of data distribution between different datasets. Finally, extensive numerical results verify the effectiveness and superiority of our method on a variety of image fusion datasets, including multi-focus dataset, infrared and visi-ble dataset, medical image dataset and multi-exposure dataset. Comprehensive experiments demonstrate the superiority of our image fusion method in robustness and generality. In addition, experimental results also demonstate the effectiveness of human brain cognitive mechanism to improve the robustness and generality of image fusion.

研究动机与目标

• 解决现有图像融合方法在复杂、变化的数据分布下缺乏鲁棒性和泛化能力的问题。
• 克服因缺乏可靠标签和质量度量而导致无监督学习在图像融合中应用受限的问题。
• 引入受人类大脑认知过程启发的持续学习机制，实现模型的自主演化。
• 在单一自适应框架下统一跨模态与同模态图像融合任务。
• 通过整合多种互补方法的知识协同，增强基于深度学习的图像融合方法的泛化能力。

提出的方法

• 提出三模块框架：多方法协作模块、多指标评估模块和迭代学习优化模块。
• 通过支持工作记忆和持续学习的物理模型，模拟人类大脑认知机制。
• 采用多损失联合评估函数，从多个图像质量指标角度评估融合质量，并为每幅图像选择最优解。
• 通过将多种方法生成的最优融合结果作为伪标签，将无监督图像融合转化为半监督任务。
• 利用迭代优化更新网络权重，基于表现最佳的融合结果实现模型的自主演化。
• 利用多种图像融合方法提供的互补特征，增强特征选择能力与非线性融合特性。

实验结果

研究问题

• RQ1 模拟人类大脑认知机制是否能提升图像融合网络的鲁棒性与泛化能力？
• RQ2 如何有效将无监督图像融合转化为半监督学习问题？
• RQ3 多种图像融合方法之间的知识协同在多大程度上提升性能与稳定性？
• RQ4 多损失评估函数是否能有效引导网络权重向最优融合结果演化？
• RQ5 自主演化机制在具有不同数据分布的多样化图像融合任务中表现如何？

主要发现

• AE-Net 在五项多样化图像融合任务中表现优异，包括多焦点、红外-可见光、多曝光和医学影像融合。
• 该方法对数据集间分布偏移表现出显著鲁棒性，在跨数据集泛化方面优于最先进方法。
• 全面的消融实验表明，认知机制模拟的引入显著提升了模型稳定性与学习效率。
• 采用多指标评估与多方法融合结果生成的伪标签，有效提升了收敛速度与最终融合质量。
• AE-Net 的自主演化机制实现了无需从头再训练的持续改进，模拟了人类大脑的学习模式。
• 实验结果验证了受人类大脑启发的认知机制在提升图像融合鲁棒性与泛化能力方面具有显著效果。