[论文解读] Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identification

Zhizheng Zhang, Cuiling Lan+2 more|arXiv (Cornell University)|Mar 27, 2020

Video Surveillance and Tracking Methods参考文献 42被引用 13

一句话总结

本文提出 MG-RAFA，一种用于基于视频的人重识别的多粒度参考增强注意力特征聚合模块。该方法通过建模每个时空特征节点与一组代表性参考节点（S-RFNs）之间的关系，学习全局注意力，同时捕捉多粒度下的层次语义。该方法在三个基准数据集上实现了最先进性能，在 Mars 数据集上 mAP 提升 5.1%，在 iLIDS-VID 上提升 2.3%。

ABSTRACT

Video-based person re-identification (reID) aims at matching the same person across video clips. It is a challenging task due to the existence of redundancy among frames, newly revealed appearance, occlusion, and motion blurs. In this paper, we propose an attentive feature aggregation module, namely Multi-Granularity Reference-aided Attentive Feature Aggregation (MG-RAFA), to delicately aggregate spatio-temporal features into a discriminative video-level feature representation. In order to determine the contribution/importance of a spatial-temporal feature node, we propose to learn the attention from a global view with convolutional operations. Specifically, we stack its relations, i.e., pairwise correlations with respect to a representative set of reference feature nodes (S-RFNs) that represents global video information, together with the feature itself to infer the attention. Moreover, to exploit the semantics of different levels, we propose to learn multi-granularity attentions based on the relations captured at different granularities. Extensive ablation studies demonstrate the effectiveness of our attentive feature aggregation module MG-RAFA. Our framework achieves the state-of-the-art performance on three benchmark datasets.

研究动机与目标

• 为解决基于视频的人重识别中冗余、遮挡和运动模糊帧的问题，学习更具判别性的视频级表征。
• 通过从整体视角建模全局时空关系来改进特征聚合，克服局部或序列注意力机制的局限性。
• 在不同粒度（粗到细）下捕捉层次语义，实现更鲁棒和自适应的特征学习。
• 通过使用少量代表性参考特征节点（S-RFNs）而非全部特征，降低计算复杂度和优化难度。
• 通过有效的、可扩展的基于注意力的特征聚合，在标准视频重识别基准上实现最先进性能。

提出的方法

• 提出一种多粒度参考增强注意力特征聚合（MG-RAFA）模块，基于每个特征节点与一组代表性参考特征节点（S-RFNs）之间的关系计算注意力权重。
• 通过堆叠每个特征节点与 S-RFNs 之间的成对相关性，以及节点自身的特征，利用卷积操作推断注意力权重，实现全局视角。
• 通过在不同空间尺度（例如 16×8、8×4、4×2、2×1 分辨率）上学习关系，引入多粒度注意力，以捕捉从粗到细粒度区域的语义。
• 构建一个小型但具有代表性的 S-RFN 集合，以压缩冗余并简化全局关系建模，在降低计算成本的同时保留结构信息。
• 采用可学习的注意力机制，自适应地抑制无关特征（如遮挡或冗余区域），并增强判别性特征。
• 将 MG-RAFA 模块应用于人重识别流程中，随后通过时空平均池化生成单一的视频级嵌入。

实验结果

研究问题

• RQ1 如何有效建模视频重识别中的全局时空依赖关系，以减少冗余并提升特征判别性？
• RQ2 代表性参考特征节点集合（S-RFNs）是否能有效捕捉全局结构模式，同时降低计算复杂度？
• RQ3 多粒度注意力学习是否通过捕捉不同空间尺度下的层次语义来提升性能？
• RQ4 MG-RAFA 在建模长距离上下文方面与非局部模块及其他注意力机制相比表现如何？
• RQ5 所提出的多粒度设计是否可泛化至 MG-RAFA 以外的其他注意力机制？

主要发现

• MG-RAFA 在三个主要视频重识别基准数据集（Mars、iLIDS-VID 和 PRID2011）上实现了最先进性能。
• 在 Mars 数据集上，MG-RAFA 相较于先前最先进方法 STA，mAP 提升 5.1%，达到 88.6%。
• 在 iLIDS-VID 上，MG-RAFA 实现 98.0% 的 Rank-1 准确率，领先第二名方法 2.3%。
• 在 PRID2011 上，MG-RAFA 实现 99.7% mAP 和 95.9% Rank-1，Rank-1 指标领先第二名 0.4%。
• 当应用于 RGA-SC、SE 和 CBAM 等注意力机制时，多粒度设计分别使 mAP 提升 1.5%、1.4% 和 1.7%。
• 消融实验证实，S-RFNs 和多粒度设计均对性能有显著贡献，MG-RAFA 在 mAP 上相比非局部模块提升 2.4%。