[论文解读] Analysis and Evaluation of Kinect-based Action Recognition Algorithms

Lei Wang|arXiv (Cornell University)|Dec 16, 2021

Human Pose and Action Recognition被引用 8

一句话总结

该论文在五个基准数据集上评估并改进了基于Kinect的动作识别算法，结合深度图与骨骼特征。所提出的HDG变体在融合深度与骨骼特征后，实现了最高的跨视角识别准确率（61.9%），优于HON4D、HOPC和RBD在多视角场景下的表现。

ABSTRACT

Human action recognition still exists many challenging problems such as different viewpoints, occlusion, lighting conditions, human body size and the speed of action execution, although it has been widely used in different areas. To tackle these challenges, the Kinect depth sensor has been developed to record real time depth sequences, which are insensitive to the color of human clothes and illumination conditions. Many methods on recognizing human action have been reported in the literature such as HON4D, HOPC, RBD and HDG, which use the 4D surface normals, pointclouds, skeleton-based model and depth gradients respectively to capture discriminative information from depth videos or skeleton data. In this research project, the performance of four aforementioned algorithms will be analyzed and evaluated using five benchmark datasets, which cover challenging issues such as noise, change of viewpoints, background clutters and occlusions. We also implemented and improved the HDG algorithm, and applied it in cross-view action recognition using the UWA3D Multiview Activity dataset. Moreover, we used different combinations of individual feature vectors in HDG for performance evaluation. The experimental results show that our improvement of HDG outperforms other three state-of-the-art algorithms for cross-view action recognition.

研究动机与目标

• 评估并比较四种最先进的基于Kinect的动作识别算法（HON4D、HDG、HOPC和RBD）的性能。
• 通过整合深度与骨骼特征，实现并改进HDG算法，以增强其鲁棒性。
• 在视角变化、遮挡和动作速度差异等挑战性条件下，评估跨视角动作识别的性能。
• 分析HDG中不同特征组合对提升识别准确率的贡献。
• 识别在多视角设置下实现鲁棒动作识别的最有效特征表示。

提出的方法

• 通过将深度梯度（HOD）与关节位置和速度特征（JPD和JMV）结合，实现并增强了HDG算法，以提升判别能力。
• 使用五个基准数据集——MSRAction3D、3D Action Pairs、CAD-60、UWA3D Single View和UWA3D Multiview Activity——覆盖噪声、视角变化和遮挡等场景。
• 采用跨视角训练与测试策略，使用不同的视角组合（例如，以视角3和4作为训练集，视角1作为测试集）以评估泛化能力。
• 通过系统性评估优化HDG的超参数，以最大化识别准确率。
• 采用基于直方图的描述子：HON4D（4D表面法向量）、HOPC（点云的定向主成分）、RBD（基于旋转的骨骼表示）以及HDG（结合关节特征的深度梯度直方图）。
• 使用标准评估指标：在多个视角组合下计算跨视角动作识别的平均识别准确率。

实验结果

研究问题

• RQ1 在视角变化和遮挡等挑战性条件下，HON4D、HDG、HOPC和RBD在标准基准数据集上的表现如何？
• RQ2 在HDG中整合骨骼特征（JPD、JMV）与深度梯度是否能显著提升跨视角动作识别的准确率？
• RQ3 HDG中哪种特征组合在不同视角配置下能实现最高的识别性能？
• RQ4 尽管仅使用深度特征，HOPC为何在噪声和动作速度变化方面表现出更优的鲁棒性？
• RQ5 在特定视角组合（如视角3和4）上进行训练，与在其他组合上训练相比，对跨视角识别准确率有何影响？

主要发现

• 改进后的HDG算法（HDG-all）在UWA3D Multiview Activity数据集上实现了最高的跨视角识别准确率（61.9%）。
• 在HDG中，基于骨骼的特征（JPD和JMV）提供的判别信息比仅使用深度特征更丰富，显著提升了对视角变化的鲁棒性。
• HOPC在噪声、身体尺寸变化和动作速度差异方面表现出卓越的鲁棒性，在单视角识别中达到71.5%的准确率。
• RBD-FTP在单视角识别中达到最高准确率（77.9%），并在跨视角识别中保持较强性能（56.0%），尽管计算成本较高。
• 以视角3和4作为训练集、视角1作为测试集时，识别准确率高于其他组合，表明该组合具有更好的视角对应关系与泛化能力。
• 混淆矩阵显示，运动轨迹相似的动作（如单手挥动与双手挥动、打喷嚏与咳嗽）常被误分类，原因在于视觉与运动上的相似性。