[论文解读] HMM and DTW for evaluation of therapeutical gestures using kinect

Carlos Palma, Augusto Salazar+1 more|arXiv (Cornell University)|Feb 11, 2016

Hand Gesture Recognition Systems参考文献 6被引用 11

一句话总结

该论文提出了一种基于隐马尔可夫模型（HMM）的系统，利用Kinect捕捉的运动数据检测物理治疗动作中的偏差，其在识别细微动作错误方面优于多维动态时间规整（MDDTW）。HMM通过建模状态转移和符号似然性，有效检测非合规序列，在基于角度的特征上实现了高达81.3%的平均错误识别准确率，而MDDTW未能拒绝微小偏差，尤其是在第1阶段和第2阶段的动作序列中表现不佳。

ABSTRACT

Automatic recognition of the quality of movement in human beings is a challenging task, given the difficulty both in defining the constraints that make a movement correct, and the difficulty in using noisy data to determine if these constraints were satisfied. This paper presents a method for the detection of deviations from the correct form in movements from physical therapy routines based on Hidden Markov Models, which is compared to Dynamic Time Warping. The activities studied include upper an lower limbs movements, the data used comes from a Kinect sensor. Correct repetitions of the activities of interest were recorded, as well as deviations from these correct forms. The ability of the proposed approach to detect these deviations was studied. Results show that a system based on HMM is much more likely to determine if a certain movement has deviated from the specification.

研究动机与目标

• 开发一种客观、自动化的系统，用于评估物理治疗动作的质量，以减少对专家观察的依赖。
• 解决在嘈杂传感器数据中检测与正确动作形式存在临床相关性但微小的偏差的挑战。
• 比较HMM与MDDTW在使用Kinect捕捉的运动学数据识别治疗动作中偏差的有效性。
• 评估两种模型在包含受控偏差的上肢和下肢多样化动作中的鲁棒性。
• 确定HMM对状态转移的概率建模是否相比MDDTW基于对齐的相似性度量，能提供更优的异常检测能力。

提出的方法

• Kinect传感器捕捉了14名受试者执行10项标准化物理治疗动作的3D关节轨迹，包括正确和偏差重复的动作。
• 相对于解剖平面（矢状面、冠状面、横断面）提取了关节角度，以定义模型输入的运动特征。
• HMM在正确动作序列上进行训练，对每个关节角度序列建模状态转移和观测概率。
• MDDTW使用多维空间中的欧几里得距离，计算测试序列与参考模板之间的对齐代价。
• 使用前向算法计算测试序列在HMM下的似然性，似然性较低表示存在偏差。
• 通过比较HMM和MDDTW在特定运动平面中存在受控偏差的序列上的得分，评估错误检测性能。

实验结果

研究问题

• RQ1 HMM能否有效检测MDDTW难以识别的治疗动作中的微小偏差？
• RQ2 HMM在拒绝与正确形式存在轻微偏差的动作序列方面，与MDDTW相比表现如何？
• RQ3 与纯相似性对齐方法相比，HMM对状态转移和符号概率的建模是否能提升对非合规动作的检测能力？
• RQ4 输入特征的选择——坐标与关节角度——如何影响偏差检测的准确性？
• RQ5 在实际应用中，传感器噪声和距离相关的精度损失在多大程度上影响HMM和MDDTW的性能？

主要发现

• 在第2阶段，HMM在基于角度的特征上实现了81.3%的平均错误识别率，显著优于MDDTW的13.0%。
• 在第1阶段，HMM使用角度序列检测错误1的准确率达到78.1%，而MDDTW仅达到13.1%。
• MDDTW未能拒绝存在微小偏差的序列，尤其在第1阶段，大多数任务的错误识别率低于30%。
• HMM在肩关节外展、屈曲和旋转动作中表现优异，多个条件下错误识别率超过70%。
• 对于肩关节和肘关节伸展以及髋关节外展动作，HMM表现欠佳，可能由于传感器噪声及远距离时精度下降。
• 研究建议使用四元数数据可能提升检测准确率，且判别式模型如条件随机场（CRF）可能进一步增强异常检测能力。