[论文解读] Human Gait Recognition using Deep Learning: A Comprehensive Review

Muhammad Imran Sharif, Mehwish Mehmood+2 more|arXiv (Cornell University)|Sep 18, 2023

Gait Recognition and Analysis被引用 6

一句话总结

本篇综述全面调研了基于深度学习（DL）的人体步态识别（GR），分析了卷积神经网络（CNN）、长短期记忆网络（LSTM）和门控循环单元（GRU）等网络架构在CASIA B和TUM GAID等数据集上的表现。研究报道了在CASIA B数据集上通过融合技术实现的超过98%的最先进准确率，并指出了在鲁棒性、隐私保护和泛化能力方面面临的关键挑战。

ABSTRACT

Gait recognition (GR) is a growing biometric modality used for person identification from a distance through visual cameras. GR provides a secure and reliable alternative to fingerprint and face recognition, as it is harder to distinguish between false and authentic signals. Furthermore, its resistance to spoofing makes GR suitable for all types of environments. With the rise of deep learning, steadily improving strides have been made in GR technology with promising results in various contexts. As video surveillance becomes more prevalent, new obstacles arise, such as ensuring uniform performance evaluation across different protocols, reliable recognition despite shifting lighting conditions, fluctuations in gait patterns, and protecting privacy.This survey aims to give an overview of GR and analyze the environmental elements and complications that could affect it in comparison to other biometric recognition systems. The primary goal is to examine the existing deep learning (DL) techniques employed for human GR that may generate new research opportunities.

研究动机与目标

• 为研究人员和从业者提供深度学习技术在人体步态识别（GR）中应用的系统性概述。
• 分析影响GR性能的环境与技术挑战，包括光照变化、遮挡现象以及步态差异性。
• 识别当前研究中的空白，如缺乏标准化评估协议以及实际应用中鲁棒性不足的问题。
• 突出利用视觉与声学数据的多模态GR所展现的新兴机遇，以及在步态异常检测中的医疗应用潜力。
• 评估DL模型在基准数据集上的性能表现，识别表现最佳的网络架构与融合策略。

提出的方法

• 采用系统文献综述方法，调研2015至2022年间40余项基于深度学习的GR研究。
• 将GR方法分类为三类：特征提取、分类与融合，重点分析卷积神经网络（CNN）、循环神经网络（RNN，包括LSTM与GRU）以及混合模型。
• 在标准数据集（包括CASIA B、TUM GAID、HMDB-51、UCF-101和NTU RGB+D）上评估模型性能。
• 分析如VGG-16、改进的萤火虫-火焰优化算法以及基于阈值的特征融合与SVM结合的模型架构。
• 比较不同视角角度（0°、18°、36°等）和不同条件（携带行李、不同地面材质）下的识别准确率。
• 评估数据增强、背景减除以及基于轮廓的步态表征在提升模型泛化能力方面的作用。

实验结果

研究问题

• RQ1 在不同数据集和条件下，哪些深度学习架构在人体步态识别中最为有效？
• RQ2 视角角度、行走速度、着装变化以及携带物品等条件的变化如何影响基于DL的GR系统性能？
• RQ3 在真实监控环境中，实现鲁棒且泛化能力强的步态识别面临哪些关键挑战？
• RQ4 如何通过多模态数据（如视觉与声学数据）提升步态识别的准确率与防欺骗能力？
• RQ5 当前GR研究在数据可及性、真实标签标注以及评估标准化方面存在哪些主要局限？

主要发现

• 采用特征融合与SVM分类的最先进模型在CASIA B数据集上实现了超过98%的准确率。
• 在多视角数据（如0°、18°、36°、90°）上训练的模型表现出更强鲁棒性，跨视角准确率范围为95.2%至96.6%。
• 结合CNN与RNN（如GRU、LSTM）的混合架构在建模步态周期序列方面优于单一模型。
• 采用改进的优化技术（如萤火虫-火焰优化算法）后，TUM GAID数据集上的识别准确率提升至98.60%。
• 多特征融合（如空间、时间与运动特征）的性能优于单一模态方法。
• 尽管在受控环境下准确率较高，但真实场景部署仍受限于光照变化、遮挡问题以及缺乏标准化基准。