[论文解读] BAANet: Learning Bi-directional Adaptive Attention Gates for Multispectral Pedestrian Detection

Xiaoxiao Yang, Yeqian Qiang+3 more|arXiv (Cornell University)|Dec 4, 2021

Video Surveillance and Tracking Methods被引用 4

一句话总结

该论文提出BAANet，一种新颖的多光谱行人检测框架，通过双向自适应注意力门（BAA-Gate）逐步提炼模态特定噪声，并通过多阶段融合策略重新校准跨模态特征。该方法在KAIST数据集上实现了最先进性能，在夜间条件下达到6.98%的漏检率，总体对数平均漏检率为7.92%，同时保持了0.07秒/张的高推理速度。

ABSTRACT

Thermal infrared (TIR) image has proven effectiveness in providing temperature cues to the RGB features for multispectral pedestrian detection. Most existing methods directly inject the TIR modality into the RGB-based framework or simply ensemble the results of two modalities. This, however, could lead to inferior detection performance, as the RGB and TIR features generally have modality-specific noise, which might worsen the features along with the propagation of the network. Therefore, this work proposes an effective and efficient cross-modality fusion module called Bi-directional Adaptive Attention Gate (BAA-Gate). Based on the attention mechanism, the BAA-Gate is devised to distill the informative features and recalibrate the representations asymptotically. Concretely, a bi-direction multi-stage fusion strategy is adopted to progressively optimize features of two modalities and retain their specificity during the propagation. Moreover, an adaptive interaction of BAA-Gate is introduced by the illumination-based weighting strategy to adaptively adjust the recalibrating and aggregating strength in the BAA-Gate and enhance the robustness towards illumination changes. Considerable experiments on the challenging KAIST dataset demonstrate the superior performance of our method with satisfactory speed.

研究动机与目标

• 为解决RGB图像和热红外（TIR）图像中模态特定噪声的问题，这些噪声会降低深层网络传播过程中的特征质量。
• 通过显式建模模态间相关性并以双向、多阶段方式抑制噪声，提升跨模态特征融合效果。
• 通过基于光照的加权策略自适应调整融合强度，增强在不同光照条件下的鲁棒性。
• 在多光谱行人检测中同时实现高检测精度与高效率，平衡性能与推理速度。

提出的方法

• 提出双向自适应注意力门（BAA-Gate），首先抑制某一模态（如低光照下的RGB）中的噪声特征，再利用优化后的特征重新校准另一模态（如TIR）的特征。
• 采用多阶段融合策略，使特征在多个网络阶段中逐步优化与重新校准，以保留模态特异性并增强可区分性。
• 引入基于光照的加权策略，自适应控制BAA-Gate中重新校准与聚合的强度，提升对光照变化的鲁棒性。
• 利用可变形卷积网络（DCN）实现模态对齐，提升RGB与TIR分支之间的特征对应性。
• 采用双分支CNN架构，通过BAA-Gate实现后期融合，替代简单的拼接或早期融合，以提升表征质量。
• 端到端训练，使用标准检测头（如Faster R-CNN）结合交叉熵损失与边界框回归损失。

实验结果

研究问题

• RQ1 双向、多阶段注意力机制是否能有效抑制深层网络推理过程中RGB与TIR特征中的模态特定噪声？
• RQ2 通过BAA-Gate实现的自适应特征重新校准，在复杂光照与遮挡条件下是否能提升检测精度？
• RQ3 基于光照的加权策略在多光谱行人检测中，对提升对环境光照变化的鲁棒性有多大程度的增强作用？
• RQ4 所提出的BAA-Gate是否相比简单拼接或早期融合策略，能实现更好的特征对齐与表征学习？

主要发现

• BAANet在KAIST数据集上实现了最低的总体对数平均漏检率7.92%，优于所有其他最先进方法。
• 在夜间子集上，BAANet达到6.98%的漏检率，比第二名方法高出0.88个百分点。
• 在远距离子集上，BAANet达到51.25%的漏检率，比第二名方法（CIAN）高出4.57个百分点。
• 消融实验表明，所有组件——BAA-Gate、基于光照的加权策略以及模态对齐——均对性能有显著贡献，完整模型表现最佳。
• BAANet保持了0.07秒/张的高推理速度，与现有最快方法相当，展现出优异的精度-速度权衡。
• 定性结果表明，BAANet在低光照、小尺度和遮挡等挑战性场景下泛化能力出色，相比竞争模型误检与漏检更少。