[论文解读] Illumination-aware Faster R-CNN for Robust Multispectral Pedestrian Detection

Chengyang Li, Dan Song+2 more|arXiv (Cornell University)|Mar 14, 2018

Remote-Sensing Image Classification参考文献 44被引用 20

一句话总结

本文提出了一种光照感知的 Faster R-CNN（IAF R-CNN），这是一种多光谱行人检测框架，通过光照感知门控机制自适应地融合彩色与热成像特征。通过使用基于 IAN 的网络估计光照条件，并动态加权模态贡献，IAF R-CNN 在 KAIST 多光谱基准上实现了最先进性能，在具有挑战性的光照条件下，MR^I 指标相比现有方法最高提升 5.03%。

ABSTRACT

Multispectral images of color-thermal pairs have shown more effective than a single color channel for pedestrian detection, especially under challenging illumination conditions. However, there is still a lack of studies on how to fuse the two modalities effectively. In this paper, we deeply compare six different convolutional network fusion architectures and analyse their adaptations, enabling a vanilla architecture to obtain detection performances comparable to the state-of-the-art results. Further, we discover that pedestrian detection confidences from color or thermal images are correlated with illumination conditions. With this in mind, we propose an Illumination-aware Faster R-CNN (IAF RCNN). Specifically, an Illumination-aware Network is introduced to give an illumination measure of the input image. Then we adaptively merge color and thermal sub-networks via a gate function defined over the illumination value. The experimental results on KAIST Multispectral Pedestrian Benchmark validate the effectiveness of the proposed IAF R-CNN.

研究动机与目标

• 为解决在光照条件变化下实现鲁棒行人检测的挑战，特别是在低光照或夜间场景下。
• 研究基于 Faster R-CNN 检测器的多光谱（彩色-热成像）特征的有效融合策略。
• 开发一种能根据光照水平自适应调整的动态融合机制，提升在不同光照条件下的检测可靠性。
• 评估并比较多种卷积神经网络融合架构在多光谱行人检测中的表现。
• 证明光照感知融合相比固定权重或启发式融合策略能显著提升检测性能。

提出的方法

• 训练一个光照感知网络（IAN），仅使用白天/夜晚二值标签来估计输入图像的光照水平。
• 门控函数根据光照度量计算模态特定的权重，实现对彩色与热成像子网络输出的动态融合。
• 彩色与热成像子网络与光照感知融合模块在统一的 Faster R-CNN 框架内进行端到端联合训练。
• 该融合机制在光照不良时自动增加热成像网络的权重，而在光照良好时则更倾向于使用彩色特征。
• 评估了三种光照估计方法（Key、Range、IAN），其中 IAN 在复杂户外场景中展现出更优的泛化能力。
• 模型支持端到端训练，支持特征提取、光照估计与融合门控的联合优化。

实验结果

研究问题

• RQ1 从 Faster R-CNN 衍生出的不同多光谱融合架构在行人检测中的性能与适应性如何比较？
• RQ2 光照条件在多大程度上影响彩色与热成像模态在行人检测中的可靠性？
• RQ3 光照感知融合机制能否提升在不同光照条件下的检测鲁棒性？
• RQ4 所提出的光照感知加权机制与固定加权（如平均）或阈值设定（硬性 0-1）融合策略相比有何优势？
• RQ5 仅使用弱标签（白天/夜晚）训练的轻量化光照估计器，能否在真实世界多光谱检测中有效引导模态融合？

主要发现

• 所提出的 IAF R-CNN 在 KAIST 多光谱行人检测基准上实现了最先进性能，优于以往方法。
• 光照感知加权机制相比平均加权提升 0.67% 的 MR^I，相比硬性 0-1 加权提升 5.03%。
• 使用 IAN 进行光照估计的结果显著优于 Key 或 Range 方法，尤其在复杂户外场景中。
• 该模型在白天与夜间条件下均表现出强鲁棒性，动态融合机制在低光照场景中更倾向于使用热成像模态。
• 经过适当调整后，基础多光谱 Faster R-CNN 的性能已接近最先进水平，表明其基线架构具有巨大潜力。
• 可视化结果证实，学习到的门控函数能根据估计的光照条件有效调整模态权重，与直观预期一致。