[论文解读] A Fusion of Appearance based CNNs and Temporal evolution of Skeleton with LSTM for Daily Living Action Recognition.

Srijan Das, Michal Koperski+2 more|arXiv (Cornell University)|Feb 1, 2018

Human Pose and Action Recognition参考文献 39被引用 8

一句话总结

本文提出了一种外观特征CNN与骨骼特征LSTM网络的新型融合方法，以提升日常活动识别性能。通过结合RGB帧的静态外观特征与骨骼序列的长期时序演化特征，该方法在CAD60和MSRDailyActivity3D数据集上实现了最先进性能，尤其在识别具有相似运动与姿态模式的动作方面表现显著。

ABSTRACT

In this paper, we propose efficient method which combines skeleton information and appearance features for daily-living action recognition. Many RGB methods focus only on short term temporal information obtained from optical flow. Skeleton based methods on the other hand show that modeling long term skeleton evolution improves action recognition accuracy. In this paper we propose to fuse skeleton based LSTM classifier which models temporal evolution of skeleton with deep CNN which models static appearance. We show that such fusion improves recognition of actions with similar motion and pose footprint, which is especially crucial in daily-living action recognition scenario. We validate our approach on public available CAD60 and MSRDailyActivity3D, achieving state-of-the art results.

研究动机与目标

• 为解决识别具有相似运动与姿态特征的日常活动所面临的挑战。
• 通过建模骨骼数据的长期时序演化，提升动作识别准确率。
• 在外观特征单独不足以区分动作（因视觉相似性）的场景下，提升识别性能。
• 开发一种鲁棒的融合框架，结合用于外观建模的深度CNN与用于骨骼时序动态建模的LSTM。

提出的方法

• 该方法采用深度卷积神经网络（CNN）从RGB帧中提取静态外观特征。
• 一个独立的LSTM网络处理骨骼序列，以建模人体关节点的长期时序演化。
• 在特征空间中早期融合CNN分支与LSTM分支的特征，以实现联合表征学习。
• 使用全连接层与Softmax对融合后的特征进行分类，实现动作识别。
• 在公开数据集上使用标准优化技术进行端到端训练。

实验结果

研究问题

• RQ1 将基于外观的CNN特征与骨骼序列的时序建模相结合，能否提升对日常活动的识别性能？
• RQ2 对骨骼演化长期建模在识别具有相似运动与姿态模式的动作时，如何提升性能？
• RQ3 外观特征与骨骼特征的早期融合，在多大程度上优于模态特定或晚期融合方法？
• RQ4 所提出方法是否在CAD60和MSRDailyActivity3D等基准数据集上实现了最先进性能？

主要发现

• 所提出的融合方法在CAD60数据集上实现了最先进性能，显著优于先前方法的动作识别准确率。
• 在MSRDailyActivity3D数据集上，模型在识别具有相似运动与姿态模式的动作方面表现出显著改进。
• 通过LSTM对长期骨骼演化进行整合，显著提升了对复杂日常活动的识别能力。
• 消融实验表明，CNN与LSTM特征的早期融合性能优于晚期融合或单独使用单一模态的方法。