[论文解读] A Benchmark for Gait Recognition under Occlusion Collected by Multi-Kinect SDAS

Na Li, Xinbo Zhao|arXiv (Cornell University)|Jul 19, 2021

Gait Recognition and Analysis被引用 5

一句话总结

本文提出用于遮挡条件下步态识别的OG RGB+D基准数据库，该数据库通过多Kinect SDAS系统采集，能够获取包含精确3D关节位置（OJ）和轮廓图的多模态数据。提出SkeletonGait模型，一种采用双骨架表示的孪生时空图卷积网络（ST-GCN）模型，在严重遮挡条件下实现最先进性能，当可见性受损时优于基于外观的方法。

ABSTRACT

Human gait is one of important biometric characteristics for human identification at a distance. In practice, occlusion usually occurs and seriously affects accuracy of gait recognition. However, there is no available database to support in-depth research of this problem, and state-of-arts gait recognition methods have not paid enough attention to it, thus this paper focuses on gait recognition under occlusion. We collect a new gait recognition database called OG RGB+D database, which breaks through the limitation of other gait databases and includes multimodal gait data of various occlusions (self-occlusion, active occlusion, and passive occlusion) by our multiple synchronous Azure Kinect DK sensors data acquisition system (multi-Kinect SDAS) that can be also applied in security situations. Because Azure Kinect DK can simultaneously collect multimodal data to support different types of gait recognition algorithms, especially enables us to effectively obtain camera-centric multi-person 3D poses, and multi-view is better to deal with occlusion than single-view. In particular, the OG RGB+D database provides accurate silhouettes and the optimized human 3D joints data (OJ) by fusing data collected by multi-Kinects which are more accurate in human pose representation under occlusion. We also use the OJ data to train an advanced 3D multi-person pose estimation model to improve its accuracy of pose estimation under occlusion for universality. Besides, as human pose is less sensitive to occlusion than human appearance, we propose a novel gait recognition method SkeletonGait based on human dual skeleton model using a framework of siamese spatio-temporal graph convolutional networks (siamese ST-GCN). The evaluation results demonstrate that SkeletonGait has competitive performance compared with state-of-art gait recognition methods on OG RGB+D database and popular CAISA-B database.

研究动机与目标

• 为解决真实遮挡条件下（如自遮挡、主动遮挡（如背包、长外套）和被动遮挡（如多人同行））步态识别缺乏基准数据集的问题。
• 开发一种鲁棒的数据采集系统（多Kinect SDAS），能够捕获不受遮挡影响的、以摄像机为中心的多人3D人体姿态。
• 构建一个支持多种步态识别算法（包括基于模型和基于外观的方法）的多模态步态数据库（OG RGB+D）。
• 提出一种新型步态识别模型SkeletonGait，利用双骨架表示（3D关节和人体测量特征）以提升在遮挡下的鲁棒性。
• 在新提出的OG RGB+D数据库和标准CAISA-B数据库上评估SkeletonGait及现有方法的性能，突出其在遮挡条件下的鲁棒性。

提出的方法

• 设计并实现一个使用三个同步Azure Kinect DK传感器的多Kinect SDAS系统，实现实时捕获RGB、深度和3D关节数据。
• 应用多视角数据融合方法，通过融合多个Kinect的数据生成精确的、以摄像机为中心的3D关节位置（OJ），提升遮挡条件下的姿态估计鲁棒性。
• 收集包含多种遮挡类型的OG RGB+D数据库：自遮挡（八种视角）、主动遮挡（背包、长外套、大件物品）和被动遮挡（三人同行）。
• 从多传感器设置中提取精确的轮廓图和OJ数据，支持基于外观和基于模型的步态识别方法。
• 提出SkeletonGait，一种孪生时空图卷积网络（ST-GCN），可同时处理双骨架表示——3D关节和人体测量特征。
• 使用对比损失端到端训练SkeletonGait模型，学习对遮挡不变的判别性步态特征，重点关注多步态和复杂条件下的表现。

实验结果

研究问题

• RQ1 最先进步态识别方法在真实遮挡条件（如衣物、行李和多人同行）下的性能如何退化？
• RQ2 多传感器数据采集系统（多Kinect SDAS）能否有效捕获严重遮挡条件下的精确、以摄像机为中心的3D人体姿态？
• RQ3 所提出的OG RGB+D数据库，因其多样的遮挡类型和多模态数据，与现有基准相比，在多大程度上提升了步态识别模型的评估效果？
• RQ4 基于双骨架表示（3D关节和人体测量特征）的模型化步态识别方法是否在遮挡条件下优于基于外观的方法？
• RQ5 在不同遮挡水平下，所提出的SkeletonGait模型在OG RGB+D和CAISA-B数据库上的准确率和鲁棒性与最先进步态识别方法相比如何？

主要发现

• OG RGB+D数据库包含1,080个步态序列，涵盖多样的遮挡类型，包括8种自遮挡视角、5种主动遮挡条件和3人被动遮挡，其挑战性高于CASIA-B。
• SkeletonGait在OG RGB+D的BG（背景）条件下达到98.3%的rank-1准确率，在CL（特写）条件下达到96.7%，优于所有先进的基于模型的方法及大多数基于外观的方法。
• 在严重遮挡条件下（LOB、HCL、MG），基于外观的方法如MT3D和GaitSet准确率显著下降（例如低于70%），而SkeletonGait保持高于90%的鲁棒性能。
• 在OG RGB+D的OJ数据上微调后的后训练姿态估计模型，相比原始Moon等人（2019）模型，在BG和CL条件下的平均步态识别准确率提升了1.4%。
• OG RGB+D的特征分布相较于CASIA-B显著更分散，且与图库分布的距离更远，尤其在遮挡条件下，证实其更高的挑战性。
• SkeletonGait展现出小模型尺寸、快速收敛和良好稳定性，表明其在真实遮挡条件下具备实际部署潜力。