[论文解读] Gait Recognition in Large-scale Free Environment via Single LiDAR

Xiao Han, Ren, Yiming+5 more|arXiv (Cornell University)|Nov 22, 2022

Diabetic Foot Ulcer Assessment and Management被引用 10

一句话总结

本文提出了一种新颖的LiDAR-相机多模态步态识别框架LiCamGait，利用LiDAR提供的视图无关深度数据与密集的2D图像特征，实现在非受限环境下的鲁棒步态识别。该方法提出了一种几何-动态感知（GDA）融合策略，通过交叉注意力机制对齐点云与轮廓特征，在新构建的LiCamGait数据集上实现了最先进性能，该数据集捕捉了真实场景中同步的多模态数据。

ABSTRACT

Human gait recognition is crucial in multimedia, enabling identification through walking patterns without direct interaction, enhancing the integration across various media forms in real-world applications like smart homes, healthcare and non-intrusive security. LiDAR's ability to capture depth makes it pivotal for robotic perception and holds promise for real-world gait recognition. In this paper, based on a single LiDAR, we present the Hierarchical Multi-representation Feature Interaction Network (HMRNet) for robust gait recognition. Prevailing LiDAR-based gait datasets primarily derive from controlled settings with predefined trajectory, remaining a gap with real-world scenarios. To facilitate LiDAR-based gait recognition research, we introduce FreeGait, a comprehensive gait dataset from large-scale, unconstrained settings, enriched with multi-modal and varied 2D/3D data. Notably, our approach achieves state-of-the-art performance on prior dataset (SUSTech1K) and on FreeGait.

研究动机与目标

• 解决仅使用相机的步态识别方法存在的局限性，包括视角依赖性、光照敏感性以及对轮廓或骨骼质量的依赖性。
• 利用LiDAR提供的视图无关深度数据，在大规模室内外环境中提取稳定且具有3D几何与动态特性的步态特征。
• 设计一种有效的多模态融合策略，将2D轮廓图的细粒度结构特征与LiDAR点云的鲁棒3D运动与形状特征相结合。
• 建立一个新的基准数据集LiCamGait，以支持未来在同步2D与3D表征下的多模态步态识别研究。
• 在不同视角、距离与光照水平等挑战性条件下，验证方法的鲁棒性与最先进性能。

提出的方法

• 提出一种新颖的几何-动态感知（GDA）融合机制，利用交叉注意力对齐LiDAR点云特征与2D轮廓特征图，无需依赖校准先验信息。
• 以RGB相机获取的2D轮廓图为输入，进行密集空间特征学习；同时利用PointNet与PointMLP主干网络从LiDAR点云中提取3D几何与动态运动特征。
• 对融合后的特征应用水平金字塔池化，实现最终的行人重识别，支持多尺度特征聚合。
• 设计多模态数据采集流程，在真实非受限环境中同步LiDAR与相机传感器，以捕获多样化的步态样本。
• 将多样化的2D/3D表征——包括轮廓、2D/3D姿态以及3D网格/SMPL模型——整合至LiCamGait数据集中，以支持全面评估。
• 采用对比损失端到端训练模型，以增强跨模态的判别性特征学习。

实验结果

研究问题

• RQ1 与仅使用2D相机的方法相比，基于LiDAR的3D点云是否能在不同光照与视角条件下显著提升步态识别的鲁棒性？
• RQ2 在不依赖校准或硬性对齐的前提下，如何实现稀疏无序的LiDAR点云与密集结构化的2D轮廓图之间的有效特征融合？
• RQ3 在长距离或遮挡等挑战性条件下，LiDAR与相机数据的多模态融合在步态识别性能上能提升到何种程度？
• RQ4 与现有融合方法（如MulFusion或PartFusion）相比，所提出的GDA融合策略在保留细粒度步态特征方面表现如何？
• RQ5 一个包含同步多模态数据的真实野外数据集是否能显著推动步态识别研究的最先进水平？

主要发现

• 所提出的LiCamGait方法在测试集上（不同视角：NORM, BAG, COAT）实现了55.17%的mRank-1准确率，显著优于最佳2D单模态方法（GLN）的28.66%。
• 在2–8米距离范围内，该方法达到69.17%的mRank-1准确率，比次优方法（PointMLP）高出20.63个百分点，展现出对距离变化的强鲁棒性。
• 在更远距离（8–15米）下，该方法仍保持61.48%的mRank-1准确率，而2D单模态方法下降至40%以下，凸显了LiDAR在远距离识别中的优势。
• 仅使用12帧（一个步态周期）时，该方法性能已与完整序列相当，表明其具备出色的时序效率与对短序列的鲁棒性。
• 仅使用LiDAR的模型（如PointNet、PointMLP）也取得了具有竞争力的结果（最高mRank-1达42.97%），表明LiDAR本身在非受限场景下具备强大的步态识别潜力。
• 消融实验验证了GDA融合策略能有效通过LiDAR的几何与动态特征增强2D特征，其性能优于MulFusion与PartFusion等基线融合方法。