[论文解读] GaitSet: Regarding Gait as a Set for Cross-View Gait Recognition

Hanqing Chao, Yiwei He+2 more|arXiv (Cornell University)|Nov 15, 2018

Gait Recognition and Analysis参考文献 26被引用 59

一句话总结

GaitSet 将步态视为一组轮廓，通过一组对置换不变的 Set Pooling 与 Horizontal Pyramid Mapping 实现跨视角步态识别的state-of-the-art，对视角、穿着和携带条件具有鲁棒性。

ABSTRACT

As a unique biometric feature that can be recognized at a distance, gait has broad applications in crime prevention, forensic identification and social security. To portray a gait, existing gait recognition methods utilize either a gait template, where temporal information is hard to preserve, or a gait sequence, which must keep unnecessary sequential constraints and thus loses the flexibility of gait recognition. In this paper we present a novel perspective, where a gait is regarded as a set consisting of independent frames. We propose a new network named GaitSet to learn identity information from the set. Based on the set perspective, our method is immune to permutation of frames, and can naturally integrate frames from different videos which have been filmed under different scenarios, such as diverse viewing angles, different clothes/carrying conditions. Experiments show that under normal walking conditions, our single-model method achieves an average rank-1 accuracy of 95.0% on the CASIA-B gait dataset and an 87.1% accuracy on the OU-MVLP gait dataset. These results represent new state-of-the-art recognition accuracy. On various complex scenarios, our model exhibits a significant level of robustness. It achieves accuracies of 87.2% and 70.4% on CASIA-B under bag-carrying and coat-wearing walking conditions, respectively. These outperform the existing best methods by a large margin. The method presented can also achieve a satisfactory accuracy with a small number of frames in a test sample, e.g., 82.5% on CASIA-B with only 7 frames. The source code has been released at https://github.com/AbnerHqC/GaitSet.

研究动机与目标

• 在不依赖顺序约束或单一模板的前提下，推动对视角和条件变化鲁棒的步态识别。
• 提出一个对置换不变的基于集合的框架，用以从轮廓集合中学习。
• 通过高级特征聚合开发保留时序/空间信息的机制。
• 展示在大规模数据集和多变步态条件下的鲁棒性和可扩展性。

提出的方法

• 将步态表示为一组轮廓，而非序列或单一模板。
• 使用 CNN 独立地从每个轮廓提取帧级特征。
• 应用 Set Pooling 以对帧级特征进行聚合，形成对置换不变的集合级表示。
• 结合带注意力的池化和多种统计聚合（最大/均值/中位数）以形成鲁棒的集合特征。
• 采用 Horizontal Pyramid Mapping (HPM) 结合多尺度条带池化，将集合特征映射到判别空间。
• 可选地通过 Multilayer Global Pipeline (MGP) 将来自多层卷积层的特征融合，以实现多层信息。

实验结果

研究问题

• RQ1 是否可以有效地从无序的轮廓集合中进行步态识别，而不是依赖模板或序列？
• RQ2 对跨视角和跨条件场景下，置换不变的 Set Pooling 如何影响识别准确性？
• RQ3 多尺度水平金字塔映射和多层信息融合对可辨性有何影响？
• RQ4 该方法在大规模数据集和多样视角条件下的可扩展性如何？
• RQ5 在轮廓数量有限或在组合不同视角/条件时，模型是否能保持高准确性？

主要发现

• GaitSet 在标准设置下在 CASIA-B（正常步态下的平均为 95.0%）和 OU-MVLP（87.1%）上获得高 Rank-1 准确率，超过了现有方法。
• 在 CASIA-B 的携包和穿大衣条件下，GaitSet 分别获得 87.2% 和 70.4%，优于现有方法。
• GaitSet 在 CASIA-B 仅用 7 帧即可达到 82.5% 的准确率，显示对输入数量受限的鲁棒性。
• 消融实验显示集合输入显著优于 GEI 模板，在 NM 子集上提升多达 10% 以上，在 CL 子集上提升多达 25% 以上。
• 多视角输入（两视角）通常提升准确性，展示了模型跨视角融合信息的能力。
• 该方法扩展性高，例如在 8 块 GPU 上大约 7 分钟内评估 OU-MVLP 的 133,780 个序列。