[论文解读] Classifying action correctness in physical rehabilitation exercises

Alina Miron, Crina Groşan|arXiv (Cornell University)|Aug 3, 2021

Human Pose and Action Recognition参考文献 9被引用 5

一句话总结

本文提出一种基于时间卷积网络（Res-TCN）的机器学习方法，利用3D骨骼数据对物理康复训练动作的正确性进行分类。基于UI-PRMD数据集，通过关节角度进行动作分类时，平均准确率达到71.2%，其中对深蹲等对称性动作的性能更高（83.5%），但对非对称或可变性动作的准确率较低（62–63%）。

ABSTRACT

The work in this paper focuses on the role of machine learning in assessing the correctness of a human motion or action. This task proves to be more challenging than the gesture and action recognition ones. We will demonstrate, through a set of experiments on a recent dataset, that machine learning algorithms can produce good results for certain actions, but can also fall into the trap of classifying an incorrect execution of an action as a correct execution of another action.

研究动机与目标

• 探究机器学习是否能有效对物理康复训练动作的正确性进行分类。
• 比较不同输入表示方式（原始3D关节位置与相对关节角度）在动作正确性分类中的性能表现。
• 评估模型在个体间的一般化能力，特别是在运动变异性或非对称性较高的情况下。
• 识别当前模型在非对称或个体特异性运动模式下的局限性。
• 探讨训练单一通用模型与针对特定动作的分类器在运动质量评估中的可行性。

提出的方法

• 在UI-PRMD数据集的3D骨骼序列上训练残差时间卷积网络（Res-TCN），用于正确与错误动作的二分类任务。
• 采用两种输入模态：每帧66维的原始3D关节位置，以及从骨骼数据中计算出的相对关节角度。
• 采用10折交叉验证协议，并按受试者进行训练/验证/测试集划分，以评估个体间的一般化能力。
• 使用全局平均池化和Softmax层进行最终分类，残差模块中采用批量归一化和ReLU激活函数。
• 通过验证准确率优化模型以防止过拟合，并选择表现最佳的模型进行测试。
• 对比了针对每类动作单独训练的专用模型与在所有动作上联合训练的单一通用模型。

实验结果

研究问题

• RQ1 基于3D骨骼数据，深度学习模型能否准确区分物理康复训练中正确与错误执行的动作？
• RQ2 与原始3D关节位置相比，使用相对关节角度作为输入是否能提升分类准确率？
• RQ3 模型性能在不同类型动作中如何变化，特别是在对称性与运动变异性方面？
• RQ4 与针对特定动作的模型相比，单一通用模型在多样化受试者与运动模式下的泛化能力如何？
• RQ5 某些动作（如侧向弓步或肩部旋转）性能下降的主要原因是什么？

主要发现

• 使用相对关节角度作为输入，平均分类准确率提升至71.2%，而使用原始3D关节位置时仅为62.3%。
• 对称性动作的准确率最高：使用关节角度时，深蹲准确率达到83.5%，起坐-站立动作为82%。
• 最具挑战性的动作是站立肩部伸展（62%）和内旋-外旋动作（63%），表明其存在较高变异性或个体特异性执行方式。
• 在个体受试者中，分类器性能差异显著——部分受试者准确率达100%，而另一些仅50%，表明对某些个体泛化能力较差。
• 在所有动作上联合训练的通用模型，使用关节角度时准确率为63.3%，显著低于专用模型的71.2%平均准确率，凸显了任务特定适应的优势。
• 研究发现，动作执行中左右侧不对称性（如使用右肢或左肢）是导致跨受试者性能不一致的主要原因。