[논문 리뷰] Employing Socially Interactive Agents for Robotic Neurorehabilitation Training

Rhythm Arora, Matteo Lavit Nicora외 5명|arXiv (Cornell University)|2022. 06. 03.

Robotics and Automated Systems인용 수 5

한 줄 요약

이 논문은 평면 재활 장치와 사회적 상호작용을 하는 가상 에이젠트를 통합하여 개인화된 홈 기반 상지 재활 치료를 제공하는 공감적 로봇 신경재활 시스템을 제시한다. 생리적(EEG, EDA) 및 사회적 신호(표정, 행동)를 분석함으로써 시스템은 실시간으로 훈련 난이도와 에이젠트 행동을 조정하며, 스트레스/즐거움 감지에 LSTM 모델을 사용하고 통합 학습을 통해 통증 인식을 수행함으로써 자율적이고 몰입감 있으며 정신과 전문의가 필요 없는 재활을 가능하게 하며 환자의 동기부여와 훈련의 개인화를 향상시킨다.

ABSTRACT

In today's world, many patients with cognitive impairments and motor dysfunction seek the attention of experts to perform specific conventional therapies to improve their situation. However, due to a lack of neurorehabilitation professionals, patients suffer from severe effects that worsen their condition. In this paper, we present a technological approach for a novel robotic neurorehabilitation training system. It relies on a combination of a rehabilitation device, signal classification methods, supervised machine learning models for training adaptation, training exercises, and socially interactive agents as a user interface. Together with a professional, the system can be trained towards the patient's specific needs. Furthermore, after a training phase, patients are enabled to train independently at home without the assistance of a physical therapist with a socially interactive agent in the role of a coaching assistant.

연구 동기 및 목표

• 임상적 지도가 최소한인 독립적인 홈 기반 재활을 가능하게 하여 신경재활 전문가의 부족을 해결하기 위해.
• 감정 및 인지 상태에 따라 적응하는 사회적 상호작용을 하는 가상 에이젠트를 통해 반복적인 로봇 재활 치료의 몰입도와 동기를 향상시키기 위해.
• 실시간으로 생리적 및 사회적 신호를 분석하여 훈련 난이도와 에이젠트 행동을 동적으로 조정하는 시스템을 개발하기 위해.
• 사회적 상호작용을 하는 에이젠트가 재활 훈련의 효율성, 몰입도 및 진전에 영향을 미치는지 평가하기 위해.
• 에이젠트 행동(지원적 vs. 요구적인)과 설명 기능이 환자 결과에 미치는 영향을 조사하기 위해.

제안 방법

• 홈 기반 훈련 중 상지 보조를 위해 PlanArm2 로봇 장치를 사용한다.
• 생리적 신호(EEG, EDA)와 사회적 신호(표정, 행동)는 웨어러블 센서와 전면 카메라를 통해 측정된다.
• 이전 연구 [28]에서 유도된 LSTM 기반 딥러닝 모델을 사용하여 센서 데이터에서 스트레스와 즐거움을 분류한다.
• 통합 학습 접근법을 적용하여 UNBC-McMaster 어깨 통증 데이터베이스를 사용해 통증 인식 모델을 훈련하고, 일반화를 위해 교차 데이터셋 검증을 실시한다.
• Gloria 가상 에이젠트는 VSM 툴킷과 CereProc TTS를 활용하여 해석된 사회적 및 생리적 상태에 기반해 실시간 구두 및 비언어적 피드백을 제공한다.
• 에이젠트 행동은 사회적 신호 해석(Social Signal Interpretation, SSI) 프레임워크를 사용해 절차적으로 조정되며, 입력 신호를 처리하여 에이젠트 반응을 조절한다.

실험 결과

연구 질문

• RQ1 사회적 상호작용을 하는 에이젠트의 존재가 홈 기반 신경재활 중 환자의 몰입도를 유의미하게 향상시키는가?
• RQ2 생리적 및 사회적 신호에 기반한 실시간 훈련 난이도 조정이 재활 결과에 어떤 영향을 미치는가?
• RQ3 다른 에이젠트 행동(지원적 vs. 요구적인)이 환자의 동기부여와 훈련 진전에 얼마나 큰 영향을 미치는가?
• RQ4 사회적 상호작용을 하는 에이젠트가 환자에게 훈련 상태와 행동을 효과적으로 설명할 수 있는가, 이는 이해도 향상과 적응도 향상에 기여하는가?
• RQ5 에이젠트에 사회적 기능과 설명 기능을 통합함으로써 훈련 효율성과 성능 향상에 측정 가능한 개선 효과가 있는가?

주요 결과

• 시스템은 UNBC-McMaster 데이터셋에 기반한 통합 학습 기반 모델을 사용하여 EEG, EDA, 표정의 실시간 분석을 통해 스트레스, 즐거움, 통증 상태를 정확히 추론하는 데 성공했다.
• Gloria 플랫폼을 사용한 사회적 상호작용 에이젠트는 맥락 인식 기반의 언어적 및 비언어적 피드백을 제공하여 환자의 개인화된 경험과 몰입도를 향상시켰다.
• 환자의 상태에 기반해 훈련 난이도와 에이젠트 행동을 동적으로 조정함으로써 환자가 의사의 직접 지도 없이도 독립적인 홈 훈련을 수행할 수 있도록 했으며, 현장 치료사 의존도를 감소시켰다.
• 요청 시 또는 수동적으로 설명 기능을 제공하는 에이젠트의 능력은 신경재활 분야의 최선의 실천 방식과 부합하며, 환자의 이해도 향상과 동기부여를 지원한다.
• 시스템은 지원적 및 요구적인 에이젠트 모드를 모두 지원하여 환자가 선호하는 지도 스타일을 선택할 수 있도록 하여 적응도 향상 가능성을 높였다.
• 향후 평가에서는 객관적 지표(속도, 정밀도)와 표준 설문지를 활용해 훈련 효율성을 평가할 것이며, 특히 에이젠트의 영향이 몰입도와 진전에 미치는 영향을 중심으로 분석할 예정이다.