[论文解读] A Comprehensive Review of Skeleton-based Movement Assessment Methods

Tal Hakim|arXiv (Cornell University)|Jan 1, 2020

Human Pose and Action Recognition参考文献 38被引用 2

一句话总结

本文对基于骨骼的运动评估方法进行了全面综述，将其分为两大类：重复性运动中的异常检测（例如步态）和结构化运动的质量评分（例如Fugl-Meyer量表或Berg平衡量表）。文章分析了关键组件，包括骨骼检测、几何归一化、时间对齐、特征提取、评分预测和反馈生成，指出大多数方法依赖手工设计的特征和基于相似度的评分，反馈生成能力有限，且缺乏标准化的数据集和评估指标。

ABSTRACT

The raising availability of 3D cameras and dramatic improvement of computer vision algorithms in the recent decade, accelerated the research of automatic movement assessment solutions. Such solutions can be implemented at home, using affordable equipment and dedicated software. In this paper, we divide the movement assessment task into secondary tasks and explain why they are needed and how they can be addressed. We review the recent solutions for automatic movement assessment from skeleton videos, comparing them by their objectives, features, movement domains and algorithmic approaches. In addition, we discuss the status of the research on this topic in a high level.

研究动机与目标

• 将现有的基于骨骼的运动评估方法归类并分析为两类主要任务：重复性运动中的异常检测和结构化运动的质量评分。
• 识别并解释运动评估流程中的基本子任务，包括骨骼检测、几何归一化、时间对齐、特征提取、评分预测和反馈生成。
• 通过回顾现有工作的特征、目标和算法方法，评估当前研究现状，特别关注其在公开数据集与私有数据集之间的使用情况以及评估指标的应用。
• 强调数据集和评估指标缺乏标准化，这阻碍了该领域内研究的可比性和进展。
• 识别研究空白，如反馈生成能力有限以及对手工设计特征的依赖，并提出未来方向，包括建立公开基准数据集和提升跨运动类型的泛化能力。

提出的方法

• 将运动评估分为两大类：(1) 重复性运动中的异常检测（例如步态），(2) 结构化运动的质量评分（例如FMA、BBS）。
• 基于其目标、特征（例如数值评分、质量分类、反馈）以及训练数据使用情况（例如仅使用正确动作），对现有工作进行回顾与比较。
• 分析评估流程的技术组件：通过Kinect或OpenPose实现3D骨骼检测，通过几何归一化处理姿态和尺度变化，通过DTW、HMM或RNN实现时间对齐。
• 评估特征工程策略，区分手工设计特征（例如关节角度、轨迹）与深度学习-based特征学习，指出手工设计特征占主导地位。
• 研究评分预测技术，强调使用归一化相似度度量而非回归方法，以及反馈生成方法，包括基于参数偏差分析的文本反馈。
• 将反馈生成策略与具体工作对应，例如将时间偏差转化为自然语言反馈，或通过角度差异识别薄弱环节。

实验结果

研究问题

• RQ1 基于骨骼的运动评估的主要类别是什么？它们的目标和挑战有何不同？
• RQ2 哪些技术组件（例如骨骼检测、时间对齐、特征提取）被最常使用？它们如何影响性能和泛化能力？
• RQ3 现有方法在多大程度上依赖手工设计特征而非学习表征？这对跨运动类型的适应性有何影响？
• RQ4 为何当前系统中反馈生成较为罕见？当实现时，通常采用哪些方法？
• RQ5 缺乏标准化数据集和评估指标如何影响该领域研究的可比性和发展？

主要发现

• 大多数运动评估系统专注于重复性运动中的异常检测（例如步态）或结构化运动的质量评分（例如FMA、BBS），仅有少数尝试在多种运动类型间实现泛化。
• 仅少数工作生成反馈，且在这些工作中，反馈通常源自参数偏差分析或轨迹错位，而非端到端学习策略。
• 绝大多数方法使用手工设计特征——如关节角度、轨迹和几何不变量——而非通过深度神经网络学习的特征。
• 时间对齐是一个关键挑战，约一半的研究使用序列模型（如RNN、HMM），其余则依赖动态时间规整（DTW）或新型变形技术。
• 尽管存在公开数据集如DGD、SPHERE和UI-PRMD，但大多数研究仍使用私有、任务特定的数据集，限制了可复现性和基准测试。
• 评分预测主要基于归一化相似度度量，而非端到端回归；连续评分在非医疗场景中更常见，而离散分类在临床评估中占主导地位。