[论文解读] Gait Recognition in the Wild with Dense 3D Representations and A Benchmark

Jinkai Zheng, Xinchen Liu+4 more|arXiv (Cornell University)|Apr 6, 2022

Gait Recognition and Analysis被引用 10

一句话总结

本文提出 SMPLGait，一种新颖的3D步态识别框架，利用密集的3D SMPL人体网格以提升在非约束环境下的识别性能。该工作首次构建了大规模3D步态数据集 Gait3D，包含4,000名受试者和来自39台摄像机的25,000段序列，并证明3D表示方法显著优于2D方法，尤其在跨视角和真实世界场景中表现更优。

ABSTRACT

Existing studies for gait recognition are dominated by 2D representations like the silhouette or skeleton of the human body in constrained scenes. However, humans live and walk in the unconstrained 3D space, so projecting the 3D human body onto the 2D plane will discard a lot of crucial information like the viewpoint, shape, and dynamics for gait recognition. Therefore, this paper aims to explore dense 3D representations for gait recognition in the wild, which is a practical yet neglected problem. In particular, we propose a novel framework to explore the 3D Skinned Multi-Person Linear (SMPL) model of the human body for gait recognition, named SMPLGait. Our framework has two elaborately-designed branches of which one extracts appearance features from silhouettes, the other learns knowledge of 3D viewpoints and shapes from the 3D SMPL model. In addition, due to the lack of suitable datasets, we build the first large-scale 3D representation-based gait recognition dataset, named Gait3D. It contains 4,000 subjects and over 25,000 sequences extracted from 39 cameras in an unconstrained indoor scene. More importantly, it provides 3D SMPL models recovered from video frames which can provide dense 3D information of body shape, viewpoint, and dynamics. Based on Gait3D, we comprehensively compare our method with existing gait recognition approaches, which reflects the superior performance of our framework and the potential of 3D representations for gait recognition in the wild. The code and dataset are available at https://gait3d.github.io.

研究动机与目标

• 解决在非约束、真实世界场景中步态识别缺乏3D表示的问题。
• 克服2D表示方法（如轮廓、骨骼）因丢失视角、体型和动态信息而带来的局限性。
• 构建一个统一的深度学习框架，融合2D外观特征与3D网格特征，以提升鲁棒性。
• 构建大规模、真实世界的3D步态数据集，以支持密集3D表示的研究。
• 在跨视角和域泛化设置下，证明3D表示方法相对于2D基线方法的优越性。

提出的方法

• 提出 SMPLGait，一种双分支神经网络框架：一个分支处理2D轮廓以提取外观特征，另一个分支处理3D SMPL网格以获取3D视角与体型信息。
• 引入3D空间变换网络（3D-STN），学习空间变换矩阵以对不同3D视角下的外观特征进行归一化。
• 利用最先进的3D人体网格估计技术，从视频帧中恢复3D SMPL模型。
• 使用三元组损失端到端训练模型，以优化用于行人重识别的特征嵌入。
• 通过在 Gait3D 数据集上联合训练2D轮廓、3D网格和2D关键点，实现多模态监督。
• 应用数据增强与归一化策略，以提升对遮挡和视角变化的鲁棒性。

Figure 1 : Different gait representations of the same person from two viewpoints. Compared with silhouettes and skeletons, 3D meshes retain the shapes and viewpoints of the human body in the 3D space. (Best viewed in color.)

实验结果

研究问题

• RQ1 与2D表示相比，密集的3D表示（如SMPL网格）是否能显著提升在非约束、真实世界环境中的步态识别性能？
• RQ2 在多样化摄像机角度下，3D视角与体型信息能在多大程度上被用于归一化特征，从而改善跨视角匹配？
• RQ3 所提出的 SMPLGait 框架在准确率与域泛化能力方面，相较于最先进2D步态识别模型表现如何？
• RQ4 使用大规模真实世界3D步态数据集（Gait3D）对模型性能与泛化能力有何影响？
• RQ5 2D与3D表示的融合是否能进一步提升在遮挡或低质量轮廓等挑战性场景下的识别准确率？

主要发现

• SMPLGait 框架在 OU-MVLP 基准上达到 97.84% 的 Rank-1 准确率，在 CASIA-B 上达到 66.71%，表明其能从 Gait3D 数据集实现强大泛化能力。
• 在 Gait3D 上预训练的模型显著优于在 GREW 上训练的模型，即使在 ID 数量更少（3,000 vs. 20,000）的情况下，仍达到 43.86% 的 Rank-1 准确率，表明其具备更优的域泛化能力。
• 跨域评估显示，在实验室数据集（CASIA-B、OU-LP）上训练的模型在 Gait3D 上表现极差（Rank-1 分别为 6.90% 和 6.10%），凸显了巨大的域差距。
• SMPLGait 的3D网格分支在低质量轮廓或遮挡场景下仍能实现正确匹配，Gait3D 的定性结果已验证此能力。
• 2D与3D表示的结合性能优于单一模态，证实了二者具有互补性。
• 一项具有挑战性的案例研究揭示，相似的服装与体型是主要错误来源，提示未来工作需重点关注此问题。

Figure 2 : The architecture of the SMPLGait framework for 3D gait recognition in the wild.