[论文解读] Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems

Kailai Zhou, Linsen Chen+1 more|arXiv (Cornell University)|Aug 7, 2020

Video Surveillance and Tracking Methods参考文献 49被引用 15

一句话总结

本文提出了一种单阶段多光谱行人检测器——模态平衡网络（MBNet），通过引入差异模态感知融合（DMAF）模块和光照感知特征对齐机制，解决了RGB-热成像融合中的模态不平衡问题。MBNet在KAIST和CVC-14数据集上实现了最先进（SOTA）的精度与效率，能够在不同光照条件下实现平衡且自适应的模态融合。

ABSTRACT

Multispectral pedestrian detection is capable of adapting to insufficient illumination conditions by leveraging color-thermal modalities. On the other hand, it is still lacking of in-depth insights on how to fuse the two modalities effectively. Compared with traditional pedestrian detection, we find multispectral pedestrian detection suffers from modality imbalance problems which will hinder the optimization process of dual-modality network and depress the performance of detector. Inspired by this observation, we propose Modality Balance Network (MBNet) which facilitates the optimization process in a much more flexible and balanced manner. Firstly, we design a novel Differential Modality Aware Fusion (DMAF) module to make the two modalities complement each other. Secondly, an illumination aware feature alignment module selects complementary features according to the illumination conditions and aligns the two modality features adaptively. Extensive experimental results demonstrate MBNet outperforms the state-of-the-arts on both the challenging KAIST and CVC-14 multispectral pedestrian datasets in terms of the accuracy and the computational efficiency. Code is available at https://github.com/CalayZhou/MBNet.

研究动机与目标

• 识别并分析多光谱行人检测中的模态不平衡问题，特别是光照模态不平衡与特征模态不平衡。
• 通过在不同光照条件下确保RGB与热成像分支的均衡贡献，改进双模态网络的优化过程。
• 通过显式捕捉跨模态互补性，同时最小化冗余与计算成本，提升特征融合效果。
• 设计一种鲁棒的单阶段检测器，在白天与夜间场景下均保持高精度与高效率。

提出的方法

• 在每个ResNet模块中插入差异模态感知融合（DMAF）模块，显式学习并整合RGB与热成像模态特征图之间的互补特征。
• 采用双线性插值技术设计光照感知特征对齐模块，实现RGB与热成像特征的空间对齐，确保每个空间位置的表示均衡。
• 在主干网络中引入光照门机制，根据场景光照动态加权RGB与热成像特征，实现自适应融合。
• 采用基于SSD的单阶段检测器框架，在集成多尺度、模态平衡特征的同时保持计算效率。
• 在区域建议阶段应用自适应特征互补机制，根据光照条件融合RGB与热成像流的预测结果。
• 使用模态平衡损失函数优化网络，以缓解梯度不平衡问题并提升收敛性。

实验结果

研究问题

• RQ1 模态不平衡（特别是光照与特征模态不平衡）如何影响多光谱行人检测器的性能？
• RQ2 像DMAF这样的显式可学习融合机制是否能在不增加计算成本的前提下提升特征整合效果？
• RQ3 光照感知特征对齐在多大程度上可以缩小白天与夜间检测之间的性能差距？
• RQ4 基于光照的自适应模态加权是否能提升在多样化光照条件下的检测鲁棒性与平衡性？
• RQ5 单阶段检测器是否能在保持高推理效率的同时，实现多光谱行人检测的最先进性能？

主要发现

• 在KAIST合理集上，MBNet的漏检率（miss rate）为8.13%，优于先前最先进方法（如Park等人：9.86%，AR-CNN：22.1%），且在相同评估协议下表现更优。
• 光照感知特征对齐模块将夜间漏检率从基线的10.17%降低至7.86%，显著缩小了白天与夜间性能差距。
• DMAF模块在不增加参数量和计算量的前提下提升了检测精度，实现了RGB与热成像特征的高效深层融合。
• 光照门机制使网络能够动态优先选择白天的RGB特征与夜间的热成像特征，增强了在不同光照条件下的鲁棒性。
• 消融实验表明，DMAF模块与模态对齐模块均对性能提升至关重要，二者结合可获得最佳结果。
• MBNet保持了高计算效率，尽管引入了复杂的融合机制，但推理速度未受影响。