[论文解读] Immersive Virtual Reality and Robotics for Upper Extremity Rehabilitation

Vuthea Chheang, Rakshith Lokesh+8 more|arXiv (Cornell University)|Apr 21, 2023

Stroke Rehabilitation and RecoveryMedicine被引用 3

一句话总结

本论文提出了一种沉浸式虚拟现实（VR）与机器人技术融合的上肢康复框架，结合可穿戴纳米复合材料袖套传感器以监测肘关节运动，并集成KinArm机器人系统。初步研究（n=16）显示，在圆形任务与菱形任务中，运动精度及肘关节阻力变化存在显著差异，系统表现出良好的可用性、较低的任务负荷和较高的沉浸感，证明该系统在个性化、家庭化康复治疗中的潜力。

ABSTRACT

Stroke patients often experience upper limb impairments that restrict their mobility and daily activities. Physical therapy (PT) is the most effective method to improve impairments, but low patient adherence and participation in PT exercises pose significant challenges. To overcome these barriers, a combination of virtual reality (VR) and robotics in PT is promising. However, few systems effectively integrate VR with robotics, especially for upper limb rehabilitation. This work introduces a new virtual rehabilitation solution that combines VR with robotics and a wearable sensor to analyze elbow joint movements. The framework also enhances the capabilities of a traditional robotic device (KinArm) used for motor dysfunction assessment and rehabilitation. A pilot user study (n = 16) was conducted to evaluate the effectiveness and usability of the proposed VR framework. We used a two-way repeated measures experimental design where participants performed two tasks (Circle and Diamond) with two conditions (VR and VR KinArm). We observed no significant differences in the main effect of conditions for task completion time. However, there were significant differences in both the normalized number of mistakes and recorded elbow joint angles (captured as resistance change values from the wearable sleeve sensor) between the Circle and Diamond tasks. Additionally, we report the system usability, task load, and presence in the proposed VR framework. This system demonstrates the potential advantages of an immersive, multi-sensory approach and provides future avenues for research in developing more cost-effective, tailored, and personalized upper limb solutions for home therapy applications.

研究动机与目标

• 解决中风后上肢物理治疗依从性低和参与度不足的问题。
• 开发一种集成沉浸式VR、末端执行器机器人（KinArm）和可穿戴传感器的综合系统，实现对上肢功能的全面评估。
• 通过初步用户研究，评估该VR-机器人康复框架在有效性、可用性、任务负荷和沉浸感方面的表现。
• 通过多感官反馈和实时运动追踪，实现更个性化、成本更低且适合家庭使用的康复解决方案。

提出的方法

• 开发了包含两种抓取任务（圆形与菱形）的VR环境，利用逆运动学控制虚拟角色和机器人。
• 将可穿戴的针织纳米复合材料传感器集成到通用尺寸的袖套中，通过电阻变化实时捕捉肘关节角度的变化。
• 将VR环境与KinArm机器人设备同步，实现在共享虚拟空间中的物理交互与运动追踪。
• 采用双向重复测量设计，设置两种条件：仅VR与VR-KinArm混合模式，涵盖两种任务。
• 使用标准化问卷（SUS、NASA-TLX、IPQ）评估可用性、任务负荷和沉浸感。
• 收集客观性能数据，包括任务完成时间、归一化错误数以及可穿戴传感器的电阻变化值。

Figure 1 . Overview of the therapeutic system for upper extremity rehabilitation using immersive VR and end-point robotics (KinArm): (a) technical setup for study conditions, (b) the VR environment with virtual avatar and virtual robotics with inverse kinematics, (c) the first-person view in VR, and

实验结果

研究问题

• RQ1 沉浸式VR与末端执行器机器人技术的结合，如何影响用户在上肢康复任务中的表现？
• RQ2 可穿戴袖套传感器在不同任务类型中，能否提供可靠且具有区分度的肘关节运动测量数据？
• RQ3 用户如何评价该VR-机器人康复框架的可用性、任务负荷和沉浸感？
• RQ4 该系统能否基于传感器数据和性能数据，区分不同的运动模式（如曲线轨迹与直线轨迹）？

主要发现

• VR与VR-KinArm两种条件下的任务完成时间无显著差异，表明其效率相当。
• 在圆形任务与菱形任务之间，归一化错误数及可穿戴传感器的电阻变化值存在显著差异，表明任务形状会影响运动精度与关节负荷。
• 系统展现出高可用性（SUS评分）和低任务负荷（NASA-TLX评分），且两种条件间无显著差异，表明两种模式均适合临床应用。
• 参与者报告了高水平的感知真实感与整体沉浸感，其中‘体验到的真实感’在IPQ量表中得分最高，尽管‘空间沉浸感’得分最低——这可能是由于机器人的物理限制所致。
• 可穿戴传感器成功捕捉到与不同运动轨迹相对应的特征电阻模式，实现了非视线条件下的连续肘关节运动监测。
• 16名参与者中有9名此前无VR使用经验，但仍报告了强烈的沉浸感与良好的可用性，表明该系统对新手用户具有良好的可及性。

Figure 2 . Technical setup of the VR upper rehabilitation and robotics.