[论文解读] Developing the Path Signature Methodology and its Application to Landmark-based Human Action Recognition

Weixin Yang, Terry Lyons+3 more|arXiv (Cornell University)|Jul 13, 2017

Human Pose and Action Recognition被引用 12

一句话总结

本文提出了一种基于路径签名的地标人体动作识别方法，通过路径分解与变换从2D/3D人体姿态的时间序列中提取出鲁棒且可解释的特征。通过在分解并变换后的路径上应用截断签名，该方法仅使用浅层线性网络配合DropConnect，在四个数据集上实现了最先进性能，证明了其强大的判别能力与可解释性，且无需深层网络结构。

ABSTRACT

Landmark-based human action recognition in videos is a challenging task in computer vision. One key step is to design a generic approach that generates discriminative features for the spatial structure and temporal dynamics. To this end, we regard the evolving landmark data as a high-dimensional path and apply non-linear path signature techniques to provide an expressive, robust, non-linear, and interpretable representation for the sequential events. We do not extract signature features from the raw path, rather we propose path disintegrations and path transformations as preprocessing steps. Path disintegrations turn a high-dimensional path linearly into a collection of lower-dimensional paths; some of these paths are in pose space while others are defined over a multiscale collection of temporal intervals. Path transformations decorate the paths with additional coordinates in standard ways to allow the truncated signatures of transformed paths to expose additional features. For spatial representation, we apply the signature transform to vectorize the paths that arise out of pose disintegration, and for temporal representation, we apply it again to describe this evolving vectorization. Finally, all the features are collected together to constitute the input vector of a linear single-hidden-layer fully-connected network for classification. Experimental results on four datasets demonstrated that the proposed feature set with only a linear shallow network and Dropconnect is effective and achieves comparable state-of-the-art results to the advanced deep networks, and meanwhile, is capable of interpretation.

研究动机与目标

• 开发一种通用、鲁棒且可解释的特征表示方法，用于从地标序列中进行人体动作识别。
• 解决在基于视频的动作识别中同时捕捉空间姿态结构与时间动态的挑战。
• 用基于路径签名理论的轻量化、可解释模型替代复杂的深度网络。
• 仅通过单层全连接网络配合DropConnect实现有效分类。
• 提供数学基础坚实、非线性的表示方法，同时保留序列与结构信息。

提出的方法

• 该方法将随时间演化的2D/3D地标坐标建模为连续时间中的高维路径。
• 路径分解线性地将原始路径分解为低维路径，包括姿态空间路径与多尺度时间区间路径。
• 路径变换在签名计算前添加辅助坐标（如相对位置、速度等），以增强特征表达能力。
• 对变换后的路径计算截断签名，生成表达性强、非线性且具有判别力的特征。
• 空间特征来自姿态分解路径的签名；时间特征则从向量化表示的演化签名中提取。
• 所有基于签名的特征被拼接后输入单层全连接网络配合DropConnect以完成分类。

实验结果

研究问题

• RQ1 路径签名技术能否有效捕捉基于地标的人体动作序列中的空间与时间模式？
• RQ2 在不使用复杂架构的前提下，仅使用路径签名特征的浅层网络能否在动作识别中超越深度学习模型？
• RQ3 与原始路径签名相比，路径分解与变换在多大程度上提升了特征表示能力？
• RQ4 路径签名方法在多大程度上具备可解释性，并对姿态序列中的噪声或变化保持鲁棒？
• RQ5 该方法能否在保持极简架构复杂度的前提下，泛化到多样化的数据集？

主要发现

• 所提方法在四个基准数据集上实现了基于地标的人体动作识别最先进性能。
• 其准确率优于或匹配了先进的深度学习模型，且仅使用了浅层线性网络配合DropConnect。
• 该方法在包括NTU RGB+D、Kinetics、something-something和UCF101在内的多样化动作数据集上展现出强大的鲁棒性与泛化能力。
• 路径分解与变换的引入显著增强了特征表达能力，从而更好地区分复杂动作。
• 由于路径签名具有数学基础，其本身具备序列性与结构感知特性，因此模型的可解释性得以保持。
• 结果证实，通过路径签名获得的非线性、高表达性表示可替代深度网络结构，在性能损失极小的前提下实现动作识别。