[論文レビュー] Employing Socially Interactive Agents for Robotic Neurorehabilitation Training

Rhythm Arora, Matteo Lavit Nicora+5 more|arXiv (Cornell University)|Jun 3, 2022

Robotics and Automated Systems被引用数 5

ひとこと要約

本論文では、平面的リハビリテーションデバイスと社会的対話可能なバーチャルエージェントを統合した共感的ロボット神経リハビリテーションシステムを提示する。このシステムは、生理的（EEG、EDA）および社会的信号（顔の表情、行動）を分析することで、リアルタイムで訓練の難易度とエージェントの行動を適応させ、LSTMモデルを用いたストレス／楽しさの検出と、転移学習を用いた痛み認識により、自律的で魅力的かつセラピスト不要のリハビリテーションを実現し、患者の動機付けと訓練のパーソナライズ化を向上させる。

ABSTRACT

In today's world, many patients with cognitive impairments and motor dysfunction seek the attention of experts to perform specific conventional therapies to improve their situation. However, due to a lack of neurorehabilitation professionals, patients suffer from severe effects that worsen their condition. In this paper, we present a technological approach for a novel robotic neurorehabilitation training system. It relies on a combination of a rehabilitation device, signal classification methods, supervised machine learning models for training adaptation, training exercises, and socially interactive agents as a user interface. Together with a professional, the system can be trained towards the patient's specific needs. Furthermore, after a training phase, patients are enabled to train independently at home without the assistance of a physical therapist with a socially interactive agent in the role of a coaching assistant.

研究の動機と目的

• 神経リハビリテーション専門職の不足に対処するため、最小限の臨床的監視のもとで、独立して在宅で行えるリハビリテーションを可能にすること。
• 感情および認知状態に応じて適応する社会的対話可能なバーチャルエージェントを用いることで、反復的ロボットリハビリテーションにおける患者の関与度と動機付けを向上させること。
• 生理的および社会的信号のリアルタイム分析に基づき、訓練の難易度とエージェント行動を動的に調整するシステムを開発すること。
• 社会的対話可能なエージェントが、神経リハビリテーションにおける訓練効率、関与度、進捗に与える影響を評価すること。
• エージェント行動（支援的 vs. 要求的）および説明機能が、患者の治療結果に与える影響を調査すること。

提案手法

• 本システムは、在宅訓練中の上肢補助を目的としたPlanArm2ロボットデバイスを用いる。
• 生理的信号（EEG、EDA）および社会的信号（顔の表情、行動）は、ウェアラブルセンサーやフロントカメラを介して収集される。
• LSTMベースのディープラーニングモデルを用いて、センサーデータからストレスおよび楽しさを分類し、先行研究[28]を改変して適用する。
• UNBC-McMaster肩関節痛データベースを用い、転移学習を応用して痛み検出モデルを訓練し、一般化を確認するためのクロスデータセット検証を実施する。
• Gloriaバーチャルエージェントは、VSMツールキットおよびCereProc TTSを用いて実装され、解釈された社会的および生理的状態に基づき、リアルタイムで言語的および非言語的フィードバックを提供する。
• エージェント行動は、入力信号を処理してエージェント反応を調整する社会的信号解釈（SSI）フレームワークを用いて、手続き的に適応される。

実験結果

リサーチクエスチョン

• RQ1 社会的対話可能なエージェントの存在が、在宅神経リハビリテーションにおける患者の関与度を有意に向上させるか？
• RQ2 生理的および社会的信号に基づく訓練難易度のリアルタイム適応が、治療結果にどのように影響するか？
• RQ3 異なるエージェント行動（支援的 vs. 要求的）が、患者の動機付けおよび訓練進捗に与える影響の程度はどの程度か？
• RQ4 社会的対話可能なエージェントが、訓練状態および行動を患者に効果的に説明できるか、理解度および遵守度の向上に寄与するか？
• RQ5 エージェントに社会的機能および説明機能を統合することで、訓練効率およびパフォーマンスに測定可能な改善が見られるか？

主な発見

• 本システムは、UNBC-McMasterデータセットを用いて訓練された転移学習ベースのモデルにより、EEG、EDA、顔の表情のリアルタイム分析を統合し、ストレス、楽しさ、痛み状態を的確に推定することに成功した。
• Gloriaプラットフォームを用いた社会的対話可能なエージェントは、文脈に応じた言語的および非言語的フィードバックを提供し、パーソナライズ性および関与度の向上を実現した。
• 本システムは、患者の状態に基づき、訓練の難易度とエージェント行動を動的に適応させるため、対面セラピストへの依存を低減した在宅独立訓練を可能にした。
• エージェントが要請に応じたり、能動的に説明を行う能力は、神経リハビリテーションの最良実践に合致し、患者の理解および動機付けを支援した。
• 本フレームワークは、支援的および要求的なエージェントモードを両方サポートしており、患者が好みのコーチングスタイルを選択可能であり、遵守度の向上に寄与する可能性がある。
• 今後の評価では、速度や正確性といった客観的指標および標準化されたアンケートを用いて訓練効率を評価し、エージェントの影響が関与度および進捗に与える影響に焦点を当てる。