[논문 리뷰] Immersive Virtual Reality and Robotics for Upper Extremity Rehabilitation

Vuthea Chheang, Rakshith Lokesh외 8명|arXiv (Cornell University)|2023. 04. 21.

Stroke Rehabilitation and RecoveryMedicine인용 수 3

한 줄 요약

이 논문은 상지 부상 후 재활을 위한 몰입형 가상현실(VR) 및 로봇 기반 프레임워크를 제시하며, 팔꿈치 관절 운동을 모니터링하기 위해 착용 가능한 나노복합재 스웨터 센서와 함께 KinArm 로봇 시스템을 통합한다. 시범 연구(n=16)에서는 원형 및 다이아몬드 작업 간 운동 정확도와 팔꿈치 저항 변화에 유의미한 차이가 있었으며, 높은 사용성, 낮은 작업 부하, 높은 몰입감을 보였으며, 개인 맞춤형 홈 기반 치료의 잠재력을 입증하였다.

ABSTRACT

Stroke patients often experience upper limb impairments that restrict their mobility and daily activities. Physical therapy (PT) is the most effective method to improve impairments, but low patient adherence and participation in PT exercises pose significant challenges. To overcome these barriers, a combination of virtual reality (VR) and robotics in PT is promising. However, few systems effectively integrate VR with robotics, especially for upper limb rehabilitation. This work introduces a new virtual rehabilitation solution that combines VR with robotics and a wearable sensor to analyze elbow joint movements. The framework also enhances the capabilities of a traditional robotic device (KinArm) used for motor dysfunction assessment and rehabilitation. A pilot user study (n = 16) was conducted to evaluate the effectiveness and usability of the proposed VR framework. We used a two-way repeated measures experimental design where participants performed two tasks (Circle and Diamond) with two conditions (VR and VR KinArm). We observed no significant differences in the main effect of conditions for task completion time. However, there were significant differences in both the normalized number of mistakes and recorded elbow joint angles (captured as resistance change values from the wearable sleeve sensor) between the Circle and Diamond tasks. Additionally, we report the system usability, task load, and presence in the proposed VR framework. This system demonstrates the potential advantages of an immersive, multi-sensory approach and provides future avenues for research in developing more cost-effective, tailored, and personalized upper limb solutions for home therapy applications.

연구 동기 및 목표

• 뇌졸중 후 상지 물리치료에 대한 낮은 참여도와 이행률을 해결하기 위해.
• 몰입형 VR, 종단점 로봇 기술(KinArm), 착용형 센서를 통합하여 통합적인 상지 평가를 위한 시스템을 개발하기 위해.
• 시범 사용자 연구를 통해 VR-로봇 기반 프레임워크의 효과성, 사용성, 작업 부하, 몰입감을 평가하기 위해.
• 다중 감각 피드백과 실시간 운동 추적을 통해 더 개인 맞춤형이며 비용 효율적이고 홈 친화적인 재활 솔루션을 제공하기 위해.

제안 방법

• 가상 애비뉴 제어 및 로봇 제어를 위한 역기구학을 사용하여, 원형 및 다이아몬드 두 가지 도약 작업을 포함한 VR 환경을 개발하였다.
• 일체형 사이즈에 맞는 스웨터에 착용 가능한 뜨개질 나노복합재 센서를 통합하여, 저항 변화를 통해 실시간으로 팔꿈치 관절 각도 변화를 측정하였다.
• VR 환경과 KinArm 로봇 장치를 동기화하여 공유된 가상 공간 내에서 물리적 상호작용과 운동 추적 기능을 구현하였다.
• 두 가지 조건(단일 VR 및 VR-KinArm 하이브리드)과 두 가지 작업을 포함한 이원법 반복 측정 설계를 사용하였다.
• 사용성, 작업 부하, 몰입감 평가를 위해 표준화된 설문지(SUS, NASA-TLX, IPQ)를 활용하였다.
• 작업 완료 시간, 정규화된 실수 횟수, 착용형 센서에서 측정한 저항 변화 값 등 객관적 성능 데이터를 수집하였다.

Figure 1 . Overview of the therapeutic system for upper extremity rehabilitation using immersive VR and end-point robotics (KinArm): (a) technical setup for study conditions, (b) the VR environment with virtual avatar and virtual robotics with inverse kinematics, (c) the first-person view in VR, and

실험 결과

연구 질문

• RQ1 몰입형 VR와 종단점 로봇 기술의 통합이 상지 재활 작업에서 사용자 성능에 어떤 영향을 미치는가?
• RQ2 착용형 스웨터 센서가 다양한 작업 유형 동안 팔꿈치 관절 운동을 신뢰성 있고 구별 가능한 방식으로 측정할 수 있는가?
• RQ3 사용자들은 제안된 VR-로봇 재활 프레임워크의 사용성, 작업 부하, 몰입감을 어떻게 평가하는가?
• RQ4 센서 및 성능 데이터 기반으로 시스템이 다양한 운동 패턴(예: 곡선 경로 대 각진 경로)을 식별할 수 있는가?

주요 결과

• VR 조건과 VR-KinArm 조건 간 작업 완료 시간에 유의미한 차이가 없었으며, 이는 두 조건이 유사한 효율성을 가짐을 시사한다.
• 원형 작업과 다이아몬드 작업 간 정규화된 실수 횟수와 착용형 센서의 저항 변화 값에 유의미한 차이가 있었으며, 이는 작업 형태가 운동 정확도와 관절 부하에 영향을 미친다는 것을 시사한다.
• 시스템은 높은 사용성(SUS 점수)과 낮은 작업 부하(NASA-TLX)를 보였으며, 조건 간 유의미한 차이가 없었기 때문에 임상 적용에 두 조건 모두 가능하다는 것을 시사한다.
• 참가자들은 높은 수준의 현실감과 일반 몰입감을 경험했으며, IPQ에서 '경험한 현실감' 항목이 가장 높게 평가되었지만, '공간 몰입감'은 가장 낮게 평가되었는데, 이는 로봇의 물리적 제약 때문일 가능성이 높다.
• 착용형 센서는 다양한 운동 경로에 해당하는 고유한 저항 패턴을 성공적으로 측정하여, 시선 외 영역에서도 지속적인 팔꿈치 관절 운동 모니터링을 가능하게 하였다.
• 16명의 참가자 중 9명은 이전에 VR 경험 경험이 없었지만, 여전히 높은 몰입감과 사용성을 보고하여 초보자 사용자에게도 접근성이 높다는 것을 시사한다.

Figure 2 . Technical setup of the VR upper rehabilitation and robotics.