[论文解读] BiCnet-TKS: Learning Efficient Spatial-Temporal Representation for Video Person Re-Identification

Ruibing Hou, Hong Chang+3 more|arXiv (Cornell University)|Apr 30, 2021

Video Surveillance and Tracking Methods参考文献 50被引用 5

一句话总结

该论文提出BiCnet-TKS，一种计算效率高的视频行人重识别架构，联合建模空间与时间表征。其采用双边互补网络（BiCnet），通过细节分支与上下文分支捕捉跨帧的多样化空间特征，结合时间核选择（TKS）模块，自适应融合短时与长时时间线索，实现SOTA性能，且计算量较先前方法减少约50%。

ABSTRACT

In this paper, we present an efficient spatial-temporal representation for video person re-identification (reID). Firstly, we propose a Bilateral Complementary Network (BiCnet) for spatial complementarity modeling. Specifically, BiCnet contains two branches. Detail Branch processes frames at original resolution to preserve the detailed visual clues, and Context Branch with a down-sampling strategy is employed to capture long-range contexts. On each branch, BiCnet appends multiple parallel and diverse attention modules to discover divergent body parts for consecutive frames, so as to obtain an integral characteristic of target identity. Furthermore, a Temporal Kernel Selection (TKS) block is designed to capture short-term as well as long-term temporal relations by an adaptive mode. TKS can be inserted into BiCnet at any depth to construct BiCnetTKS for spatial-temporal modeling. Experimental results on multiple benchmarks show that BiCnet-TKS outperforms state-of-the-arts with about 50% less computations. The source code is available at https://github.com/ blue-blue272/BiCnet-TKS.

研究动机与目标

• 为解决现有视频重识别方法在充分挖掘视频序列中空间与时间线索方面的局限性。
• 通过设计高效架构，在保持或提升重识别准确率的同时降低计算成本。
• 基于视频内容特征，实现对短时与长时时间依赖关系的自适应建模。
• 通过鼓励注意力模块聚焦于不同身体部位，提升帧间特征多样性。
• 开发一种轻量化、可组合的组件（TKS），用于有效的时间建模，可插入现有网络中。

提出的方法

• BiCnet采用两条并行分支：细节分支以原始分辨率处理输入帧，以保留细粒度视觉细节；上下文分支通过下采样扩大感受野，用于长程上下文建模。
• 在每条分支上，应用多个并行且多样的空间注意力模块，以鼓励在连续帧中关注不同身体部位，增强空间互补性。
• 时间核选择（TKS）模块在时间维度上采用多个并行的3D卷积路径，使用不同卷积核大小（如3、5、7），以捕捉短时与长时运动模式。
• TKS基于全局特征信息自适应选择最相关的时间核，实现无需固定融合权重的动态时间建模。
• TKS模块轻量化，可插入BiCnet的任意阶段，形成用于渐进式时空特征学习的BiCnet-TKS架构。
• 在时间建模前，通过聚合两条分支的特征图，形成全面的空间表征。

Figure 1: An example of class activation maps [ 53 ] of a pair of input video sequences of existing method [ 50 ] and our method.

实验结果

研究问题

• RQ1 具有互补空间分支的双分支网络是否能提升视频重识别中的特征多样性与身份表征能力？
• RQ2 自适应选择多种时间核大小是否能增强对视频序列中短时与长时运动模式的建模能力？
• RQ3 与多尺度时间特征的固定权重融合相比，所提出的TKS模块是否能在保持低计算成本的同时提升性能？
• RQ4 在神经网络架构中，TKS模块的最佳放置位置为何处，可实现最大性能增益？
• RQ5 BiCnet与TKS的结合是否能实现SOTA准确率，同时显著降低FLOPs？

主要发现

• BiCnet-TKS在MARS基准上达到86.0% mAP与90.2% top-1准确率，超越SOTA方法。
• 模型仅需1.99 GFLOPs，相比先前SOTA模型计算量减少约50%。
• 在BiCnet的阶段2后添加TKS模块，mAP与top-1准确率分别提升0.4%，且参数量与FLOPs增加极少。
• TKS中的自适应选择机制至关重要——使用简单平均（TK模块）无法带来性能增益，证实了动态核选择的价值。
• 将TKS置于阶段1或阶段4会导致性能下降，表明阶段2与阶段3是时间建模的最优位置。
• 使用三个时间核（K3、K5、K7）并未提升性能，表明两个核已足够捕捉关键时间动态。

Figure 2: Short and long-term temporal relations have varying importance for different sequences. (a) A sequence with partial occlusion. The long-term temporal clues are desired to alleviate occlusion. (b) A sequence of a fast-moving pedestrian. The short-term temporal clues are desired to model det