[论文解读] RealGait: Gait Recognition for Person Re-Identification

Shaoxiong Zhang, Yunhong Wang+3 more|arXiv (Cornell University)|Jan 13, 2022

Gait Recognition and Analysis被引用 15

一句话总结

本文提出 RealGait，一种专为真实监控场景设计的新型步态识别方法，通过利用 DukeMTMC-VideoReID 数据集提取的轮廓图实现。实验表明，仅依靠步态特征在新的 BUAA-Duke-Gait 基准测试中即达到 78.24% 的 rank-1 准确率，表明步态是无约束环境下视频行人重识别取得成功的关键因素。

ABSTRACT

Human gait is considered a unique biometric identifier which can be acquired in a covert manner at a distance. However, models trained on existing public domain gait datasets which are captured in controlled scenarios lead to drastic performance decline when applied to real-world unconstrained gait data. On the other hand, video person re-identification techniques have achieved promising performance on large-scale publicly available datasets. Given the diversity of clothing characteristics, clothing cue is not reliable for person recognition in general. So, it is actually not clear why the state-of-the-art person re-identification methods work as well as they do. In this paper, we construct a new gait dataset by extracting silhouettes from an existing video person re-identification challenge which consists of 1,404 persons walking in an unconstrained manner. Based on this dataset, a consistent and comparative study between gait recognition and person re-identification can be carried out. Given that our experimental results show that current gait recognition approaches designed under data collected in controlled scenarios are inappropriate for real surveillance scenarios, we propose a novel gait recognition method, called RealGait. Our results suggest that recognizing people by their gait in real surveillance scenarios is feasible and the underlying gait pattern is probably the true reason why video person re-idenfification works in practice.

研究动机与目标

• 解决受控数据集上的步态识别与存在背景杂乱、多人同时出现及行走模式不规则等现实监控应用之间的差距。
• 探究在视频行人重识别中，是否步态特征而非衣物外观才是高性能的主要驱动因素。
• 通过从现有大规模视频 Re-ID 数据集中提取轮廓图，构建新的基准数据集 BUAA-Duke-Gait，以实现步态识别与行人重识别之间的公平比较。
• 开发一种在真实世界非约束条件下表现良好的鲁棒步态识别模型，而现有方法在此类场景下表现不佳。

提出的方法

• 利用背景减除与运动分割技术，从 DukeMTMC-VideoReID 数据集中提取轮廓图，构建 BUAA-Duke-Gait 数据集。
• 提出一种基于二值轮廓图的步态识别模型，采用 3D 卷积神经网络架构处理时序步态序列，以学习时空步态模式。
• 应用多尺度特征提取与时间池化操作，增强从步态序列中学习判别性表征的能力。
• 对灰度图像采用量化方案，研究外观信息的影响，测试从 1 到 16 个灰度级的设置，以评估最小外观信息需求。
• 在基于轮廓图的步态识别与全彩行人重识别之间进行对比实验，以隔离步态的贡献。
• 开展消融实验，评估亮度与颜色对识别性能的影响，特别是在光照变化与遮挡条件下。

实验结果

研究问题

• RQ1 当从受控数据集转移到真实监控视频时，步态识别性能如何退化？
• RQ2 在无约束环境中，步态特征在视频行人重识别成功中起到了多大程度的贡献？
• RQ3 在衣物外观不可靠的真实监控场景中，仅靠步态识别能否实现可靠的行人识别？
• RQ4 有效基于步态的识别所需的最小外观信息量（如灰度级数量）是多少？
• RQ5 在视角变化与遮挡条件下，步态特征与外观线索相比在鲁棒性方面表现如何？

主要发现

• 所提出的 RealGait 方法在 BUAA-Duke-Gait 数据集上达到 78.24% 的 rank-1 准确率，显著优于在受控数据集上训练的最先进步态识别方法。
• 在同一数据集上，全彩行人重识别达到 94% 的 rank-1 准确率，表明外观线索可进一步提升性能，超越仅依赖步态的水平。
• 即使仅使用三个灰度级，步态识别准确率仍达 84.94%，表明极简的外观信息已足以实现可靠识别。
• 全彩图像与二值轮廓图识别之间的性能差距约为 3%，表明步态特征具有高度判别性与鲁棒性。
• 步态特征在处理大视角差异方面表现有效，即使在外观线索模糊或不一致时仍保持可靠性。
• 本研究揭示，步态很可能是真实世界场景中视频行人重识别取得成功的主要原因，挑战了‘衣物外观是主导线索’的假设。