[论文解读] Action recognition by learning pose representations

Alessia Saggese, Nicola Strisciuglio+2 more|arXiv (Cornell University)|Aug 2, 2017

Human Pose and Action Recognition参考文献 24被引用 3

一句话总结

本文提出了一种可训练的姿态检测器，通过从原型骨骼中学习关节的空间排列，利用骨骼数据识别人体动作。通过在样本姿态上自动配置检测器，并利用关节位置得分测量相似性，该方法在MSRDA数据集上实现了64%的识别率，证明其效果与最先进方法相当。

ABSTRACT

Pose detection is one of the fundamental steps for the recognition of human actions. In this paper we propose a novel trainable detector for recognizing human poses based on the analysis of the skeleton. The main idea is that a skeleton pose can be described by the spatial arrangements of its joints. Starting from this consideration, we propose a trainable pose detector, that can be configured on a prototype skeleton in an automatic configuration process. The result of the configuration is a model of the position of the joints in the concerned skeleton. In the application phase, the joint positions contained in the model are compared with the ones of their homologous joints in the skeleton under test. The similarity of two skeletons is computed as a combination of the position scores achieved by homologous joints. In this paper we describe an action classification method based on the use of the proposed trainable detectors to extract features from the skeletons. We performed experiments on the publicly available MSDRA data set and the achieved results confirm the effectiveness of the proposed approach.

研究动机与目标

• 开发一种可训练的姿态检测器，从原型骨骼姿态中学习，无需手工特征工程。
• 通过将关节的空间排列建模为可学习表征，提升动作识别性能。
• 通过在训练样本上进行优化过程，实现姿态检测器的自动配置。
• 通过直接从数据中学习判别性表征，减少对手工设计特征的依赖。
• 为基于骨骼的动作识别提供一种稳健且可训练的替代方案，以替代固定特征检测器。

提出的方法

• 该方法使用一种可训练的检测器，从单个原型骨骼姿态中学习关节的空间配置。
• 检测器通过评估同源关节在空间偏差容限下的位置得分，计算测试骨骼与原型之间的相似性。
• 两个骨骼之间的整体相似性通过单个关节位置得分的加权组合计算得出。
• 检测器配置通过在一组原型姿态上优化检测器参数的自动优化过程完成。
• 该方法将检测器视为可训练特征，类似于COSFIRE滤波器，但针对基于骨骼的姿态表示进行了适配。
• 该方法被集成到分类流程中，每帧提取姿态特征并用于动作识别。

实验结果

研究问题

• RQ1 可训练的检测器能否从单个原型样本中学习到有效的人体姿态空间表征？
• RQ2 在动作识别中，学习到的姿态检测器性能与手工设计或固定特征方法相比如何？
• RQ3 检测器的自动配置在多大程度上减少了对手工设计特征的需求？
• RQ4 在姿态匹配过程中，该方法对关节位置噪声和畸变的鲁棒性如何？
• RQ5 当与时间建模结合时，学习到的姿态表征在不同动作之间是否具有良好的泛化能力？

主要发现

• 所提方法在MSRDA数据集上实现了64%的识别率，与基于骨骼分析的最先进方法相当。
• 该方法优于多种现有方法，包括TSD、3DTSD和Eigen Joints，其准确率均在58%或以下。
• 表现最佳的基线方法（Joint Position）达到68%，表明所提方法具有高度竞争力。
• 检测器的可训练特性消除了对手工特征工程的需求，降低了对领域专业知识的依赖。
• 由于关节位置比较中具有容差机制，该方法对噪声和畸变表现出鲁棒性。
• 该方法具有可扩展性，可通过引入时间建模和特征选择进一步提升效率与准确性。