[논문 리뷰] Augmented Reality Prosthesis Training Setup for Motor Skill Enhancement

Avinash Sharma, Wally Niu외 4명|arXiv (Cornell University)|2019. 03. 05.

Muscle activation and electromyography studies참고 문헌 48인용 수 5

한 줄 요약

이 논문은 고도화된 현실(AR) 시스템인 HoloPHAM을 제시하며, 가상 환경에서 의수 평가 척도(PHAM)를 시뮬레이션하여 전기적 근육의 수축 신호를 이용한 의수 사용자를 위한 운동 기술 훈련을 향상시킨다. 마이크로소프트 홀로렌즈™를 사용하여 실시간 전기적 근육 신호와 관성 피드백을 제공함으로써 사용자가 시각적 및 진동 촉각 자극을 통해 도달 및 집기 작업을 연습할 수 있다. 3명의 건강한 피험자 대상 10일간의 연구에서 작업 수행 능력, 운동역학적 변동성, 이동 품질 향상에 통계적으로 유의미한 개선(α < 0.05)이 관찰되었으며, 5일간의 휴지기 이후에도 효과가 유지되어 AR 훈련을 통한 효과적인 운동 기술 학습이 가능함을 시사한다.

ABSTRACT

Adjusting to amputation can often time be difficult for the body. Post-surgery, amputees have to wait for up to several months before receiving a properly fitted prosthesis. In recent years, there has been a trend toward quantitative outcome measures. In this paper, we developed the augmented reality (AR) version of one such measure, the Prosthetic Hand Assessment Measure (PHAM). The AR version of the PHAM - HoloPHAM, offers amputees the advantage to train with pattern recognition, at their own time and convenience, pre- and post-prosthesis fitting. We provide a rigorous analysis of our system, focusing on its ability to simulate reach, grasp, and touch in AR. Similarity of motion joint dynamics for reach in physical and AR space were compared, with experiments conducted to illustrate how depth in AR is perceived. To show the effectiveness and validity of our system for prosthesis training, we conducted a 10-day study with able-bodied subjects (N = 3) to see the effect that training on the HoloPHAM had on other established functional outcome measures. A washout phase of 5 days was incorporated to observe the effect without training. Comparisons were made with standardized outcome metrics, along with the progression of kinematic variability over time. Statistically significant (p&lt;0.05) improvements were observed between pre- and post-training stages. Our results show that AR can be an effective tool for prosthesis training with pattern recognition systems, fostering motor learning for reaching movement tasks, and paving the possibility of replacing physical training.

연구 동기 및 목표

• 의수 부착 전후에 운동 기술 향상을 위해 접근성이 높고 AR 기반의 훈련 시스템을 개발하기 위해.
• 높은 비용, 공간 제약, 실시간 피드백 부족 등의 전통적 물리적 기능 평가 척도의 한계를 극복하기 위해.
• AR 기반 훈련이 PHAM과 같은 물리적 기능 평가의 운동 학습 효과를 재현하고 향상시킬 수 있는지 조사하기 위해.
• 통제된 몰입형 환경에서 운동역학적 변동성, 작업 완료 시간, 이동 품질에 대한 AR 훈련의 영향을 평가하기 위해.
• 객관적이고 정량적인 지표를 사용하여 물리적 훈련을 AR 기반 시스템으로 대체할 수 있는 가능성 탐색하기 위해.

제안 방법

• HoloPHAM 시스템은 전기적 근육 신호와 관성 센서를 통해 제어되는 가상의 모듈식 의수(vMPL)를 통합하여 AR 환경에서 실제 부위의 운동역학을 재현한다.
• 시스템은 마이크로소프트 홀로렌즈™를 사용하여 가상의 부위를 실제 환경에 투영함으로써 사용자가 가상의 물체와 상호작용하면서도 시각적 및 공간적 인식을 유지할 수 있도록 한다.
• 가상 손이 물체에 접촉할 경우 잔류 부위에 진동 촉각 피드백을 제공하여 촉각을 시뮬레이션하고 감각 피드백을 향상시킨다.
• AR 공간 내 관절 역학은 운동역학 궤적 분석을 통해 물리적 PHAM 성능과 비교하여 운동 유사성과 운동 제어 품질을 평가한다.
• 10일간의 훈련 연구를 3명의 건강한 피험자 대상으로 실시하였으며, 성능 변화와 유지도 평가를 위해 5일간의 휴지기 단계를 포함하였다.
• 작업 완료 시간과 운동역학적 변동성과 같은 표준화된 평가 척도를 사용하여 훈련 효과를 정량적으로 평가하였다.

실험 결과

연구 질문

• RQ1 HoloPHAM과 같은 AR 기반 시스템이 의수 훈련을 위한 운동역학적 및 기능적 요구를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 HoloPHAM을 통한 AR 훈련이 작업 완료 시간 단축과 운동역학적 변동성 감소를 포함한 운동 기술 수행 능력 향상에 측정 가능한 영향을 미치는가?
• RQ3 훈련 후 훈련을 중단한 기간 동안 AR 훈련의 운동 학습 효과가 얼마나 유지되는가? 이는 기술 유지도를 의미한다.
• RQ4 AR에서 가상 물체의 깊이 인식과 공간 정확도가 도달 및 집기 수행 능력에 어떤 영향을 미치는가?
• RQ5 실시간 전기적 근육 신호와 진동 촉각 피드백을 갖춘 AR 훈련이 패턴 인식 운동 클래스의 일관성과 구별 가능성을 향상시킬 수 있는가?

주요 결과

• HoloPHAM 시스템에서 사전 훈련과 사후 훈련 단계 간에 작업 완료 시간과 운동역학적 변동성에 통계적으로 유의미한 개선(p < 0.05)이 관찰되었다.
• 5일간의 휴지기 이후에도 성능 지표가 기준 수준보다 유의미하게 향상되어 AR 훈련을 통해 습득한 운동 기술의 유지가 이루어졌음을 시사한다.
• 시간이 지남에 따라 관절 운동역학 비용이 감소하여 피험자들이 가상 의수를 더 효율적이고 직관적으로 제어하는 데 성공했다.
• AR 공간 내 가상 부위의 운동 역학은 시간이 지남에 따라 물리적 PHAM과 점점 더 유사해졌으며, 이는 효과적인 운동 조율과 신체 통합을 의미한다.
• 시스템은 몇 센티미터 내외의 정확한 깊이 인식을 달성하여 AR에서의 안정적인 도달 및 집기 수행 능력을 뒷받침했다.
• 500–800ms의 시각적 지연이 존재함에도 불구하고 시스템은 여전히 효과적인 운동 학습을 가능하게 하여 현재 AR 지연 수준이 훈련 목적으로는 수용 가능함을 시사한다.