[论文解读] Employing Socially Interactive Agents for Robotic Neurorehabilitation Training

Rhythm Arora, Matteo Lavit Nicora+5 more|arXiv (Cornell University)|Jun 3, 2022

Robotics and Automated Systems被引用 5

一句话总结

本文提出了一种情感化机器人神经康复系统，将平面康复装置与社交互动式虚拟代理相结合，提供个性化、居家式的上肢康复治疗。通过分析生理信号（EEG、EDA）和社会信号（面部表情、行为），系统能够实时调整训练难度和代理行为，采用LSTM模型进行压力/愉悦感检测，并利用迁移学习实现疼痛识别，从而实现自主、有趣且无需治疗师参与的康复，提升患者动机与训练个性化水平。

ABSTRACT

In today's world, many patients with cognitive impairments and motor dysfunction seek the attention of experts to perform specific conventional therapies to improve their situation. However, due to a lack of neurorehabilitation professionals, patients suffer from severe effects that worsen their condition. In this paper, we present a technological approach for a novel robotic neurorehabilitation training system. It relies on a combination of a rehabilitation device, signal classification methods, supervised machine learning models for training adaptation, training exercises, and socially interactive agents as a user interface. Together with a professional, the system can be trained towards the patient's specific needs. Furthermore, after a training phase, patients are enabled to train independently at home without the assistance of a physical therapist with a socially interactive agent in the role of a coaching assistant.

研究动机与目标

• 通过实现无需临床监督的独立居家治疗，应对神经康复专业人员短缺的问题。
• 通过能够根据情绪和认知状态自适应的社交互动式虚拟代理，提升重复性机器人康复治疗中的患者参与度与动机。
• 开发一种系统，能够基于对生理和社交信号的实时分析，动态调整训练难度和代理行为。
• 评估社交互动代理是否能提升神经康复中的训练效率、参与度与进展。
• 研究代理行为（支持型 vs. 严格型）及解释能力对患者康复结果的影响。

提出的方法

• 系统使用PlanArm2机器人装置在居家训练期间为上肢提供物理辅助。
• 通过可穿戴传感器和前置摄像头采集生理信号（EEG、EDA）和社会信号（面部表情、行为）。
• 基于LSTM的深度学习模型从传感器数据中分类压力与愉悦感，该方法源自先前工作[28]。
• 采用迁移学习方法，利用UNBC-McMaster肩痛数据库训练疼痛检测模型，并通过跨数据集验证以提升泛化能力。
• Gloria虚拟代理通过VSM工具包和CereProc TTS实现，根据解析出的社会与生理状态，提供实时言语与非言语反馈。
• 代理行为通过社交信号理解（SSI）框架进行程序化调整，该框架处理输入信号以调节代理响应。

实验结果

研究问题

• RQ1 社交互动代理的存在是否显著提升居家神经康复中的患者参与度？
• RQ2 基于生理与社会信号的实时训练难度自适应是否影响治疗结果？
• RQ3 不同代理行为（支持型 vs. 严格型）在多大程度上影响患者动机与训练进展？
• RQ4 社交互动代理是否能有效向患者解释训练状态与动作，从而提升理解力与依从性？
• RQ5 在代理中集成社交与解释功能是否能带来训练效率与表现的可测量提升？

主要发现

• 该系统成功整合了对EEG、EDA与面部表情的实时分析，利用基于迁移学习的模型在UNBC-McMaster数据集上训练，能够推断压力、愉悦感与疼痛状态。
• 社交互动代理通过Gloria平台提供情境感知的言语与非言语反馈，增强了患者的个性化感知与参与度。
• 该系统支持患者独立居家训练，能够根据患者状态动态调整训练难度与代理行为，减少对现场治疗师的依赖。
• 代理在请求时或主动提供解释的能力符合神经康复的最佳实践，有助于提升患者理解力与动机。
• 该框架支持支持型与严格型代理模式，允许患者选择偏好的指导风格，可能提升治疗依从性。
• 未来评估将通过客观指标（速度、精度）与标准问卷衡量训练效率，重点关注代理对参与度与进展的影响。