[论文解读] LidarGait: Benchmarking 3D Gait Recognition with Point Clouds

Chuanfu Shen, Chao Fan+4 more|arXiv (Cornell University)|Nov 19, 2022

Gait Recognition and Analysis被引用 5

一句话总结

LidarGait 提出了一种新颖的3D步态识别框架，利用LiDAR点云提取精确的几何特征，通过深度图投影技术，在性能上超越了现有的基于摄像头和点云的方法。其核心贡献是 SUSTech1K 数据集——包含1,050名受试者、25,239个序列——具有多样的真实世界变化，使该框架在户外复杂环境中实现了最先进性能。

ABSTRACT

Video-based gait recognition has achieved impressive results in constrained scenarios. However, visual cameras neglect human 3D structure information, which limits the feasibility of gait recognition in the 3D wild world. Instead of extracting gait features from images, this work explores precise 3D gait features from point clouds and proposes a simple yet efficient 3D gait recognition framework, termed LidarGait. Our proposed approach projects sparse point clouds into depth maps to learn the representations with 3D geometry information, which outperforms existing point-wise and camera-based methods by a significant margin. Due to the lack of point cloud datasets, we built the first large-scale LiDAR-based gait recognition dataset, SUSTech1K, collected by a LiDAR sensor and an RGB camera. The dataset contains 25,239 sequences from 1,050 subjects and covers many variations, including visibility, views, occlusions, clothing, carrying, and scenes. Extensive experiments show that (1) 3D structure information serves as a significant feature for gait recognition. (2) LidarGait outperforms existing point-based and silhouette-based methods by a significant margin, while it also offers stable cross-view results. (3) The LiDAR sensor is superior to the RGB camera for gait recognition in the outdoor environment. The source code and dataset have been made available at https://lidargait.github.io.

研究动机与目标

• 解决基于摄像头的步态识别中缺乏3D几何信息的问题，该问题限制了其在真实世界非受限环境中的性能。
• 克服基于RGB的步态系统因光照不良、遮挡和复杂背景导致的视觉模糊问题。
• 开发一个可扩展的大规模LiDAR基步态识别基准，以支持3D步态表征与识别的研究。
• 证明LiDAR在捕捉鲁棒、视角不变的3D步态特征方面优于RGB摄像头，适用于识别任务。
• 利用3D点云数据实现隐私保护且抗深度伪造的生物特征识别。

提出的方法

• 将稀疏LiDAR点云投影到深度图，以保留3D几何结构，同时利用卷积神经网络实现高效的特征学习。
• 采用一种简单但高效的深度学习架构，在深度图上进行训练，以提取具有判别力的3D步态表征。
• 通过搭载同步LiDAR与RGB摄像头的移动机器人，收集大规模多模态数据集（SUSTech1K），用于户外数据采集。
• 在数据集中引入多样的真实世界变化——如视角变化、遮挡、着装差异、携带物品及光照变化——以模拟真实世界复杂条件。
• 在多种评估协议下评估性能，包括跨视角和跨条件设置，以检验模型的鲁棒性。
• 使用rank-1和rank-5准确率指标，将所提出的LidarGait框架与最先进点云基和轮廓基方法进行对比。

实验结果

研究问题

• RQ1 与基于RGB摄像头的2D轮廓相比，LiDAR点云提供的3D几何结构是否能显著提升步态识别的准确性？
• RQ2 在遮挡、光照不足和视角变化等挑战性真实世界条件下，基于LiDAR的步态识别性能如何变化？
• RQ3 现有为3D物体分类设计的点云基深度学习模型，在稀疏点云的步态识别任务中，其泛化能力在多大程度上成立？
• RQ4 多模态数据融合（LiDAR + RGB）对步态识别的鲁棒性和准确性有何影响？
• RQ5 与基于摄像头的方法相比，基于LiDAR的步态识别是否在跨视角泛化能力和稳定性方面表现更优？

主要发现

• LidarGait 在 SUSTech1K 数据集上实现了 86.77% 的 rank-1 准确率，显著优于基于摄像头的方法（76.12% rank-1）和点云基模型。
• 该框架在各种条件下均保持高性能：当测试样本处于变化条件（如遮挡、携带物品）时，rank-1 准确率达到 84.31%，展现出强大的泛化能力。
• 基于LiDAR的识别在 rank-5 准确率上达到 96.08%，表明其在复杂推理场景下依然具备鲁棒性和可靠性。
• 通过点云生成的深度图使类间距离更清晰、类内特征分布更紧凑，t-SNE 可视化结果验证了这一点。
• 在遮挡和光照不良条件下，LiDAR 能提供高质量的步态表征，而基于RGB的轮廓常因分割错误而失效。
• SUSTech1K 数据集支持对 1,050 名受试者和 25,239 个序列的稳定评估，为未来3D步态模型的统计验证与基准测试提供了坚实基础。