[论文解读] Beyond Night Visibility: Adaptive Multi-Scale Fusion of Infrared and Visible Images

Shufan Pei, Junhong Lin+3 more|arXiv (Cornell University)|Mar 2, 2024

Advanced Image Fusion Techniques被引用 4

一句话总结

该论文提出AMFusion，一种自适应多尺度融合网络，通过联合处理低光照和光晕退化问题，利用红外与可见光图像提升夜间视觉质量。通过采用新颖的照度损失，分别融合空间（光照感知）和语义（检测引导）特征，AMFusion在行人检测任务中实现61.7% mAP50→95的性能，优于当前最先进方法，视觉质量更优。

ABSTRACT

In addition to low light, night images suffer degradation from light effects (e.g., glare, floodlight, etc). However, existing nighttime visibility enhancement methods generally focus on low-light regions, which neglects, or even amplifies the light effects. To address this issue, we propose an Adaptive Multi-scale Fusion network (AMFusion) with infrared and visible images, which designs fusion rules according to different illumination regions. First, we separately fuse spatial and semantic features from infrared and visible images, where the former are used for the adjustment of light distribution and the latter are used for the improvement of detection accuracy. Thereby, we obtain an image free of low light and light effects, which improves the performance of nighttime object detection. Second, we utilize detection features extracted by a pre-trained backbone that guide the fusion of semantic features. Hereby, we design a Detection-guided Semantic Fusion Module (DSFM) to bridge the domain gap between detection and semantic features. Third, we propose a new illumination loss to constrain fusion image with normal light intensity. Experimental results demonstrate the superiority of AMFusion with better visual quality and detection accuracy. The source code will be released after the peer review process.

研究动机与目标

• 解决现有夜间视觉增强方法在提升低光照区域时放大光晕效应的局限性。
• 开发一种多模态融合框架，同时缓解夜间图像中的低光照与过曝问题。
• 通过利用检测引导的特征融合，提升低光照条件下目标检测的准确性。
• 设计一种无监督照度损失，约束融合输出以保持正常光照强度。
• 通过检测引导的融合模块弥合检测特征与语义特征之间的域差距。

提出的方法

• AMFusion分别从红外与可见光图像中提取空间与语义表征特征。
• 光照感知检测融合模块（IDFM）利用光照信息融合空间特征，以校正光照分布。
• 检测引导语义融合模块（DSFM）利用预训练检测模型的特征引导语义特征融合，提升检测准确性。
• 将空间特征与融合后的语义特征结合，生成视觉质量更优的最终融合图像。
• 设计一种新型无监督照度损失，由强度与曝光控制两部分组成，确保输出图像具有逼真的光照分布。
• 采用感知损失、检测损失与照度损失的组合，端到端训练模型，以同时优化视觉保真度与检测性能。

实验结果

研究问题

• RQ1 红外与可见光图像的多尺度融合能否有效抑制夜间图像中的低光照与光晕退化？
• RQ2 预训练模型的检测特征在红外-可见光图像融合中如何改善语义特征融合？
• RQ3 无监督照度损失在多大程度上提升了融合夜间图像的真实感与质量？
• RQ4 基于光照区域的自适应融合是否相比均匀融合策略能带来更好的检测性能？
• RQ5 空间、语义与光照感知模块对整体融合性能的相对贡献如何？

主要发现

• AMFusion在M³FD+LLVIP数据集上达到最高的61.7% mAP50→95，优于所有基线方法。
• 包含全部模块（IDFM、DSFM、SRM与完整照度损失）的模型实现最佳检测性能，mAP50→95得分为7.323。
• 消融实验证实，IDFM、DSFM与SRM模块均对检测准确率与视觉质量的提升具有渐进贡献。
• 照度损失显著改善光照分布，完整损失设置有效减少过曝并增强真实感，视觉对比结果清晰显示。
• 检测引导语义融合模块（DSFM）实现更优的特征对齐与目标聚焦，从而提升对行人等小目标的检测精度。
• 若移除照度损失，mAP50→95从61.7%降至60.4%，证明其在维持真实光照中的关键作用。