[论文解读] Augmented Reality Prosthesis Training Setup for Motor Skill Enhancement

Avinash Sharma, Wally Niu+4 more|arXiv (Cornell University)|Mar 5, 2019

Muscle activation and electromyography studies参考文献 48被引用 5

一句话总结

本文提出 HoloPHAM，一种增强现实（AR）系统，通过在虚拟环境中模拟假肢手评估量表（PHAM），提升肌电假肢使用者的运动技能训练效果。该系统基于 Microsoft HoloLens™，提供实时肌电信号与惯性反馈，使用户能够借助视觉和振动触觉提示练习抓握与伸展动作。对三名健康受试者开展的10天研究显示，任务表现、运动学变异性及动作质量均有统计学上显著改善（p < 0.05），且在5天洗脱期后仍保持改善效果，表明通过AR训练可实现有效的运动技能学习。

ABSTRACT

Adjusting to amputation can often time be difficult for the body. Post-surgery, amputees have to wait for up to several months before receiving a properly fitted prosthesis. In recent years, there has been a trend toward quantitative outcome measures. In this paper, we developed the augmented reality (AR) version of one such measure, the Prosthetic Hand Assessment Measure (PHAM). The AR version of the PHAM - HoloPHAM, offers amputees the advantage to train with pattern recognition, at their own time and convenience, pre- and post-prosthesis fitting. We provide a rigorous analysis of our system, focusing on its ability to simulate reach, grasp, and touch in AR. Similarity of motion joint dynamics for reach in physical and AR space were compared, with experiments conducted to illustrate how depth in AR is perceived. To show the effectiveness and validity of our system for prosthesis training, we conducted a 10-day study with able-bodied subjects (N = 3) to see the effect that training on the HoloPHAM had on other established functional outcome measures. A washout phase of 5 days was incorporated to observe the effect without training. Comparisons were made with standardized outcome metrics, along with the progression of kinematic variability over time. Statistically significant (p&lt;0.05) improvements were observed between pre- and post-training stages. Our results show that AR can be an effective tool for prosthesis training with pattern recognition systems, fostering motor learning for reaching movement tasks, and paving the possibility of replacing physical training.

研究动机与目标

• 开发一种可及的、基于AR的训练系统，用于肌电假肢使用者在假肢适配前后的运动技能提升。
• 克服传统物理功能评估指标的局限性，如高成本、空间限制及缺乏实时反馈。
• 探究基于AR的训练是否能够复现并增强物理功能评估（如PHAM）所引发的运动学习效果。
• 在受控的沉浸式环境中，评估AR训练对运动学变异性、任务完成时间及动作质量的影响。
• 探索使用客观、定量指标替代物理训练，实现基于AR的系统可行性。

提出的方法

• HoloPHAM 系统整合了一个通过肌电信号和惯性传感器控制的虚拟模块化假肢（vMPL），在AR环境中复现物理肢体的运动学特性。
• 系统利用 Microsoft HoloLens™ 将虚拟肢体投射至真实环境，使用户能够在保持视觉与空间感知的同时与虚拟物体互动。
• 当虚拟手与物体接触时，系统向残肢提供振动触觉反馈，模拟触感并增强感官反馈。
• 通过运动学轨迹分析，将AR空间中的关节动力学与实际PHAM表现进行比较，以评估动作相似性与运动控制质量。
• 对三名健康受试者开展了为期10天的训练研究，包含5天的洗脱阶段，以评估技能保留与表现变化。
• 采用标准化结果指标，包括任务完成时间与运动学变异性，对训练效果进行定量评估。

实验结果

研究问题

• RQ1 基于AR的系统（如 HoloPHAM）能否有效模拟物理PHAM在假肢训练中的运动学与功能需求？
• RQ2 使用 HoloPHAM 进行AR训练是否能带来可测量的运动技能表现提升，包括缩短任务完成时间与降低运动学变异性？
• RQ3 在无训练期后，AR训练引发的运动学习效果能保留多长时间，表明技能保留程度如何？
• RQ4 AR中虚拟物体的深度感知与空间精度如何影响抓握与伸展动作的表现？
• RQ5 结合实时肌电信号与振动触觉反馈的AR训练，能否提升模式识别动作类别的稳定性和可区分性？

主要发现

• 在 HoloPHAM 系统中，训练前后阶段的任务完成时间与运动学变异性均显示统计学上显著改善（p < 0.05）。
• 经过5天洗脱期后，性能指标仍显著优于基线水平，表明通过AR训练获得的运动技能得以保留。
• 关节运动学成本随时间下降，表明受试者逐渐发展出更高效、更直观的虚拟假肢控制方式。
• AR空间中虚拟肢体的运动动力学随时间与实际PHAM表现趋于相似，表明实现了有效的运动协调与身体归属感。
• 系统在几厘米范围内实现了精确的深度感知，支持AR环境中可靠抓握与伸展表现。
• 尽管存在500–800 ms的视觉延迟，系统仍能有效促进运动学习，表明当前AR延迟对训练目的而言可接受。