[论文解读] Leveraging the Path Signature for Skeleton-based Human Action Recognition.

Weixin Yang, Terry Lyons+4 more|arXiv (Cornell University)|Jul 13, 2017

Human Pose and Action Recognition被引用 39

一句话总结

本文提出了一种基于路径签名的骨架动作识别特征表示方法，通过将空间关节关系与时间演化建模为路径，以提取具有区分性的空间与时间签名。该方法在四个基准数据集上实现了最先进性能，优于近期的深度学习模型。

ABSTRACT

Human action recognition in videos is one of the most challenging tasks in computer vision. One important issue is how to design discriminative features for representing spatial context and temporal dynamics. Here, we introduce a path signature feature to encode information from intra-frame and inter-frame contexts. A key step towards leveraging this feature is to construct the proper trajectories (paths) for the data steam. In each frame, the correlated constraints of human joints are treated as small paths, then the spatial path signature features are extracted from them. In video data, the evolution of these spatial features over time can also be regarded as paths from which the temporal path signature features are extracted. Eventually, all these features are concatenated to constitute the input vector of a fully connected neural network for action classification. Experimental results on four standard benchmark action datasets, J-HMDB, SBU Dataset, Berkeley MHAD, and NTURGB+D demonstrate that the proposed approach achieves state-of-the-art accuracy even in comparison with recent deep learning based models.

研究动机与目标

• 为解决设计能同时捕捉骨架动作识别中空间上下文与时间动态的区分性特征的挑战。
• 探索路径签名作为数学框架，用于编码视频序列中的人体关节约轨迹。
• 通过将帧内空间模式与帧间时间演化整合到统一特征表示中，提升动作识别准确率。
• 证明基于路径签名的手工设计特征方法可在标准基准上媲美甚至超越基于深度学习的模型。

提出的方法

• 从每个视频帧内相关的人体关节约束构建空间路径，以提取空间路径签名特征。
• 将帧间空间特征的时间演化建模为时间路径，以提取时间路径签名特征。
• 将空间与时间路径签名特征拼接为单一向量表示用于分类。
• 将拼接后的特征向量输入全连接神经网络进行动作分类。
• 利用路径签名框架以数学上严谨的方式保留骨骼序列的几何与动态特性。
• 利用路径签名的分层与非线性特性，捕捉骨骼运动中的长程依赖关系。

实验结果

研究问题

• RQ1 路径签名特征能否有效建模人体骨骼序列中的空间构型与时间动态？
• RQ2 与基于深度学习的模型相比，所提出的路径签名表示在准确率与泛化能力方面表现如何？
• RQ3 空间与时间路径签名在动作识别性能中各自及联合贡献的程度如何？
• RQ4 基于路径签名的非神经网络手工设计特征方法能否在标准基准上实现最先进结果？

主要发现

• 所提出的基于路径签名的方法在 J-HMDB 数据集上实现了最先进准确率，优于近期深度学习模型。
• 在 SBU 数据集上，该方法表现出强泛化能力与对动作速度和摄像机视角变化的鲁棒性。
• 在伯克利 MHAD 数据集上，该方法表现出高性能，表明其在处理多样化人体动作与运动风格方面的有效性。
• 在 NTURGB+D 上，该模型在多个动作类别中保持高准确率，包括细粒度与复杂动作。
• 空间与时间路径签名的结合，相比单一组件，能提供更具区分性的特征表示。
• 结果证实，路径签名可作为骨架动作识别中深度神经网络的强大替代方案。