[论文解读] Dynamic Action Recognition: A convolutional neural network model for temporally organized joint location data

Adhavan Jayabalan, Harish Karunakaran+2 more|arXiv (Cornell University)|Dec 20, 2016

Human Pose and Action Recognition参考文献 21被引用 6

一句话总结

本文提出了一种六层卷积神经网络（CNN），通过处理时间有序的3D关节位置数据来识别人类动作，在康奈尔活动数据集上实现了87%的准确率。通过将关节轨迹建模为序列化的时空特征，该方法实现了比基于视频或图像的方法更低维输入下的高效、高精度动作识别。

ABSTRACT

Motivation: Recognizing human actions in a video is a challenging task which has applications in various fields. Previous works in this area have either used images from a 2D or 3D camera. Few have used the idea that human actions can be easily identified by the movement of the joints in the 3D space and instead used a Recurrent Neural Network (RNN) for modeling. Convolutional neural networks (CNN) have the ability to recognise even the complex patterns in data which makes it suitable for detecting human actions. Thus, we modeled a CNN which can predict the human activity using the joint data. Furthermore, using the joint data representation has the benefit of lower dimensionality than image or video representations. This makes our model simpler and faster than the RNN models. In this study, we have developed a six layer convolutional network, which reduces each input feature vector of the form 15x1961x4 to an one dimensional binary vector which gives us the predicted activity. Results: Our model is able to recognise an activity correctly upto 87% accuracy. Joint data is taken from the Cornell Activity Datasets which have day to day activities like talking, relaxing, eating, cooking etc.

研究动机与目标

• 开发一种深度学习模型，仅基于3D关节位置序列识别人类动作，而不依赖原始视频或图像数据。
• 利用关节运动的时间组织特性以提升动作识别性能。
• 通过使用低维关节表示而非高维视频或图像输入，降低计算复杂度。
• 对比基于CNN的方法与基于RNN的模型在使用关节数据进行动作识别时的性能表现。
• 证明仅使用紧凑且结构化的关节数据即可实现鲁棒且高效的动作识别。

提出的方法

• 模型处理输入的15×1961×4关节特征张量，表示98个关节在15帧中的3D关节坐标。
• 应用六层卷积神经网络，从时间有序的关节数据中提取时空特征。
• 网络使用2D卷积层捕捉关节之间的空间关系以及帧间的时间动态。
• 全局平均池化将特征图压缩为1D向量，再输入最终的全连接层进行分类。
• 输出为表示预测动作类别的二值向量，使用交叉熵损失进行训练。
• 模型在康奈尔活动数据集上进行端到端训练，该数据集提供了日常活动的3D关节位置信息。

实验结果

研究问题

• RQ1 卷积神经网络能否有效识别来自时间有序的3D关节位置数据的人类动作？
• RQ2 当使用关节数据进行动作识别时，基于CNN的模型性能与基于RNN的模型相比如何？
• RQ3 与基于视频或图像的方法相比，使用低维关节数据在推理速度和模型复杂度方面能提升多少？
• RQ4 仅使用关节轨迹数据并结合深度CNN架构，所能达到的最大识别准确率是多少？
• RQ5 通过在序列化关节数据上应用2D CNN，能否有效捕捉关节运动中的空间与时间模式？

主要发现

• 所提出的CNN模型仅使用3D关节位置数据，就在康奈尔活动数据集上实现了87%的识别准确率。
• 结果表明，基于关节的表示方法可在显著降低输入维度的前提下实现高准确率，优于视频或图像输入。
• 使用CNN处理关节数据相比RNN等循环模型，能够实现更快的推理速度和更简单的网络结构。
• 该模型通过在序列数据上应用2D卷积，成功捕捉了关节的空间构型及帧间的时间动态。
• 结果表明，仅通过适当的深度学习架构处理关节数据，即可实现鲁棒的动作识别。
• 该方法在准确率上优于或匹配先前基于RNN的方法，同时在计算效率方面表现更优。