[论文解读] Augmenting Vision-Based Human Pose Estimation with Rotation Matrix

Milad Vazan, Fatemeh Sadat Masoumi+2 more|arXiv (Cornell University)|Oct 9, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

本文提出了一种基于旋转矩阵的数据增强技术，以提升基于视觉的人体姿态估计在体能活动分类中的性能。通过使用旋转矩阵从单摄像头输入生成360°视角变化，该方法增强了姿态数据的多样性，使SVM-SGD在五种健身活动上达到96%的准确率，显著优于未使用增强技术时的64%基线准确率。

ABSTRACT

Fitness applications are commonly used to monitor activities within the gym, but they often fail to automatically track indoor activities inside the gym. This study proposes a model that utilizes pose estimation combined with a novel data augmentation method, i.e., rotation matrix. We aim to enhance the classification accuracy of activity recognition based on pose estimation data. Through our experiments, we experiment with different classification algorithms along with image augmentation approaches. Our findings demonstrate that the SVM with SGD optimization, using data augmentation with the Rotation Matrix, yields the most accurate results, achieving a 96% accuracy rate in classifying five physical activities. Conversely, without implementing the data augmentation techniques, the baseline accuracy remains at a modest 64%.

研究动机与目标

• 解决在健身应用中基于视觉的人体活动识别（HAR）因受限且单视角标注数据导致的挑战。
• 克服因固定摄像头角度和缺乏多视角训练样本而引起的姿态估计模糊性。
• 利用从视频流中提取的姿态关键点数据，提升体能活动的分类准确率。
• 评估基于旋转矩阵的数据增强在姿态估计特征上对HAR的效能。
• 识别在多类健身活动识别中，姿态估计模型、数据增强与分类器的最佳组合。

提出的方法

• 采用BlazePose从单视角视频帧中实现高精度的2D人体关键点检测。
• 应用旋转矩阵变换，从每个原始姿态生成180°顺时针和逆时针方向的合成训练样本。
• 利用旋转矩阵模拟多样化的摄像头视角，从而在不增加额外数据采集的情况下提升数据变异性。
• 在增强与未增强的姿态关键点数据上训练并比较多种机器学习分类器（如SVM-SGD、逻辑回归、KNN）。
• 通过选择性移除冗余或噪声较大的关键点特征（如右肩）来优化模型性能，以提高分类准确率。
• 在包含有限但具代表性的健身房动作数据集上，使用五类体能活动分类评估模型性能。

实验结果

研究问题

• RQ1 基于旋转矩阵的数据增强是否能提升基于姿态的人体活动识别模型的泛化能力和准确率？
• RQ2 通过旋转矩阵生成的合成多视角视图，对不同分类算法在姿态关键点数据上的性能有何影响？
• RQ3 在使用增强姿态特征对五种不同体能活动进行分类时，哪种机器学习分类器能达到最高准确率？
• RQ4 移除特定身体关键点特征（如右肩）是否能通过减少噪声或冗余来提升分类性能？
• RQ5 与当前最先进的HAR模型相比，该方法在准确率和数据效率方面表现如何？

主要发现

• 当与基于旋转矩阵的数据增强结合时，使用SGD优化的SVM（SVM-SGD）实现了96%的最高分类准确率。
• 在未使用任何数据增强的情况下，活动分类的基线准确率仅为64%，凸显了数据增强的关键作用。
• 从12个关键点的姿态表示中移除右肩关键点后，SVM-SGD的性能得到提升，使用11个关键点特征时达到96%的准确率。
• 旋转矩阵增强方法为每个原始样本生成360°的合成视图，有效模拟了单摄像头源的多视角训练数据。
• 在所有评估的分类器中，SVM-SGD在不同关键点配置和增强策略下均表现出最一致且优越的性能。
• 所提出的方法仅使用少量训练样本，就在五种健身活动中实现了96%的准确率，优于以往研究中需要显著更多数据的工作。