[论文解读] FANet: Quality-Aware Feature Aggregation Network for Robust RGB-T Tracking

Yabin Zhu, Chenglong Li+2 more|arXiv (Cornell University)|Nov 24, 2018

Video Surveillance and Tracking Methods参考文献 50被引用 6

一句话总结

本文提出FANet，一种用于鲁棒RGB-T跟踪的质量感知特征聚合网络，通过在模态内融合分层多分辨率特征，并基于其可靠性自适应地结合RGB与热成像特征，从而增强特征表示。该方法在大规模基准测试中达到最先进性能，在准确率上相比现有方法最高提升5.5%，同时保持19 FPS的实时推理速度。

ABSTRACT

This paper investigates how to perform robust visual tracking in adverse and challenging conditions using complementary visual and thermal infrared data (RGBT tracking). We propose a novel deep network architecture called qualityaware Feature Aggregation Network (FANet) for robust RGBT tracking. Unlike existing RGBT trackers, our FANet aggregates hierarchical deep features within each modality to handle the challenge of significant appearance changes caused by deformation, low illumination, background clutter and occlusion. In particular, we employ the operations of max pooling to transform these hierarchical and multi-resolution features into uniform space with the same resolution, and use 1x1 convolution operation to compress feature dimensions to achieve more effective hierarchical feature aggregation. To model the interactions between RGB and thermal modalities, we elaborately design an adaptive aggregation subnetwork to integrate features from different modalities based on their reliabilities and thus are able to alleviate noise effects introduced by low-quality sources. The whole FANet is trained in an end-to-end manner. Extensive experiments on large-scale benchmark datasets demonstrate the high-accurate performance against other state-of-the-art RGBT tracking methods.

研究动机与目标

• 为解决在低光照、遮挡和形变等不利条件下，利用RGB与热成像数据实现鲁棒视觉跟踪的挑战。
• 克服现有RGB-T跟踪器依赖手工设计或高度语义特征的局限性，这些特征难以在定位精度与语义区分能力之间取得平衡。
• 通过端到端学习可靠性感知权重，降低模态融合中的不确定性，实现对RGB与热成像特征可靠性的自适应融合。
• 通过在多个网络层间聚合分层特征，同时保持空间分辨率并减少冗余，从而提升特征表示能力。

提出的方法

• FANet利用最大池化操作统一分辨率，并通过1×1卷积压缩通道维度，从每个模态的多个卷积层聚合分层特征。
• 采用全局平均池化层将空间信息压缩为通道描述符，用于模态可靠性估计。
• 自适应聚合子网络使用全连接层和SoftMax，基于学习到的可靠性预测模态权重，实现RGB与热成像特征的动态融合。
• 整个网络采用端到端训练，实现特征学习与模态融合的联合优化，从而提升跟踪性能。
• 跟踪器在多领域学习框架中使用二分类任务，预测帧间的目标位置。

实验结果

研究问题

• RQ1 如何有效聚合深度神经网络中的分层多分辨率特征，以提升RGB-T跟踪的鲁棒性？
• RQ2 在噪声或低质量条件下，能否实现端到端的模态可靠性估计，从而提升融合性能？
• RQ3 基于可靠性的RGB与热成像特征自适应融合，是否能在复杂跟踪场景中超越固定或启发式融合策略？
• RQ4 在多个网络层间整合浅层与深层特征，对跟踪准确率与鲁棒性有何影响？

主要发现

• 在RGBT234基准测试中，FANet在PR上达到78.7%，SR上达到55.3%，分别优于次优方法5.0%和5.3%。
• 所提出的分层特征聚合方法显著提升跟踪性能，FANet-C13与FANet-C23相比单层特征使用展现出更优结果。
• FANet在单张GPU上实现19 FPS的实时推理速度，展现出高准确率与强效率的结合。
• 消融实验表明，包含自适应聚合子网络在内的完整FANet架构对最优性能至关重要，FANet-FA与FANet-MA的性能明显下降。
• 该方法能有效处理大规模变化与相机抖动等挑战性序列，但在极端运动或模糊情况下仍会出现失败案例。