[论文解读] Deep Learning-Based Gait Recognition Using Smartphones in the Wild

Qin Zou, Yanling Wang+3 more|arXiv (Cornell University)|Nov 1, 2018

Gait Recognition and Analysis参考文献 98被引用 34

一句话总结

本文提出了一种基于深度学习的步态识别系统，利用智能手机的惯性传感器在非受控、真实世界条件下进行识别。该系统采用混合CNN-LSTM架构，从加速度计和陀螺仪数据中提取时空步态特征，在118名受试者的两个数据集上，实现了93.5%的人体识别准确率和93.7%的认证准确率。

ABSTRACT

Compared to other biometrics, gait is difficult to conceal and has the advantage of being unobtrusive. Inertial sensors, such as accelerometers and gyroscopes, are often used to capture gait dynamics. These inertial sensors are commonly integrated into smartphones and are widely used by the average person, which makes gait data convenient and inexpensive to collect. In this paper, we study gait recognition using smartphones in the wild. In contrast to traditional methods, which often require a person to walk along a specified road and/or at a normal walking speed, the proposed method collects inertial gait data under unconstrained conditions without knowing when, where, and how the user walks. To obtain good person identification and authentication performance, deep-learning techniques are presented to learn and model the gait biometrics based on walking data. Specifically, a hybrid deep neural network is proposed for robust gait feature representation, where features in the space and time domains are successively abstracted by a convolutional neural network and a recurrent neural network. In the experiments, two datasets collected by smartphones for a total of 118 subjects are used for evaluations. The experiments show that the proposed method achieves higher than 93.5\% and 93.7\% accuracies in person identification and authentication, respectively.

研究动机与目标

• 在真实世界、非受控行走场景中，实现利用智能手机惯性传感器进行鲁棒的人体识别与认证。
• 克服传统步态识别方法对受控行走路径和速度的依赖。
• 开发一种深度学习框架，能够从原始加速度计和陀螺仪时间序列中提取具有判别性的步态特征。
• 在多样化的行走条件下采集的真实世界数据集上，评估所提方法的性能。
• 公开数据集、代码和训练好的模型，以促进惯性步态识别领域的开放研究。

提出的方法

• 使用全卷积神经网络将惯性数据分割为行走和非行走阶段。
• 应用一维卷积核（1×9、1×3、1×3）沿时间轴从原始惯性信号中提取时间特征。
• 使用6×1卷积核在传感器轴之间进行空间特征关联，同时保持输出的时间序列特性。
• 将得到的128×16特征图重塑为时间序列格式，并输入长短期记忆（LSTM）网络进行序列建模。
• 混合CNN-LSTM架构能够从惯性传感器数据中联合学习空间与时间上的步态模式。
• 采用三元组损失和对比损失函数进行模型训练，以增强特征的判别能力。

实验结果

研究问题

• RQ1 在非受控行走条件下，深度学习模型能否利用智能手机惯性传感器实现高准确率的步态识别？
• RQ2 所提出的CNN-LSTM模型在步态识别任务中的性能与独立的CNN或LSTM网络相比如何？
• RQ3 结合加速度计和陀螺仪数据是否能提升识别准确率，相较于单独使用任一传感器？
• RQ4 数据对齐方式（水平对齐与垂直对齐）对深度学习模型在人体认证任务中的性能有何影响？
• RQ5 数据分割策略（基于步长与固定时间跨度）对基于LSTM的步态识别性能有何影响？

主要发现

• 所提出的混合CNN-LSTM模型在真实世界智能手机步态数据上，实现了93.5%的人体识别准确率和93.7%的认证准确率。
• 仅使用加速度计数据的识别性能优于仅使用陀螺仪数据，但结合两者传感器可通过互补特征学习进一步提升准确率。
• CNN能有效捕捉惯性信号中的空间模式，而LSTM在建模步态序列的时间动态方面表现更优。
• 基于步长的数据分割策略在LSTM识别中略优于固定时间跨度的分割策略。
• 垂直对齐的惯性数据（按步态周期对齐）在认证任务中显著优于水平对齐的数据。
• 混合CNN-LSTM模型显著优于独立的CNN或LSTM网络，证明了联合时空特征学习的有效性。