[論文レビュー] VITA: A Multi-modal LLM-based System for Longitudinal, Autonomous, and Adaptive Robotic Mental Well-being Coaching

Micol Spitale, Minja Axelsson+1 more|arXiv (Cornell University)|Dec 15, 2023

Digital Mental Health Interventions被引用数 6

ひとこと要約

VITA は、ユーザーの顔の表情や発話パターンに自動的に適応するマルチモーダルで LLM ベースのロボットコーチングシステムであり、個別化されたメンタルウェルビーイング支援を提供する。17名の参加者を対象に4週間の現実世界での研究を実施した結果、VITA はメンタルウェルビーイングを著しく向上させ、対話の断絶を低減し、事前スクリプト化されたモデルと比較してより応答的かつ共感的であると評価された。

ABSTRACT

Recently, several works have explored if and how robotic coaches can promote and maintain mental well-being in different settings. However, findings from these studies revealed that these robotic coaches are not ready to be used and deployed in real-world settings due to several limitations that span from technological challenges to coaching success. To overcome these challenges, this paper presents VITA, a novel multi-modal LLM-based system that allows robotic coaches to autonomously adapt to the coachee's multi-modal behaviours (facial valence and speech duration) and deliver coaching exercises in order to promote mental well-being in adults. We identified five objectives that correspond to the challenges in the recent literature, and we show how the VITA system addresses these via experimental validations that include one in-lab pilot study (N=4) that enabled us to test different robotic coach configurations (pre-scripted, generic, and adaptive models) and inform its design for using it in the real world, and one real-world study (N=17) conducted in a workplace over 4 weeks. Our results show that: (i) coachees perceived the VITA adaptive and generic configurations more positively than the pre-scripted one, and they felt understood and heard by the adaptive robotic coach, (ii) the VITA adaptive robotic coach kept learning successfully by personalising to each coachee over time and did not detect any interaction ruptures during the coaching, (iii) coachees had significant mental well-being improvements via the VITA-based robotic coach practice. The code for the VITA system is openly available via: https://github.com/Cambridge-AFAR/VITA-system.

研究の動機と目的

• 既存のロボットコーチには対話性と応答性が不足しており、これがユーザーの否定的評価を招いているという問題に対処する。
• 個々のコーチィーの行動パターンに時間経過とともに適応することで、長期的なパーソナライズを可能にする。
• 対話の断絶を検出・緩和することで、コーチングの結束と会話の流れを維持する。
• 高度な大規模言語モデル（LLM）を統合することで会話の質を向上させ、人間らしいコーチング行動を模倣する。
• 長期的なロボットコーチングによって、コーチィーのメンタルウェルビーイングに持続的で顕著な改善をもたらすことを実証する。

提案手法

• ビデオから得られる顔の感情価（valence）と音声から得られる発話時間の両方をリアルタイムでの行動分析を用いてマルチモーダル入力として統合する。
• コーチィーのフィードバックと行動に基づき、動的にコーチング戦略を適応させる強化学習フレームワークを採用する。
• 自然で文脈的に適切かつ共感的な言語反応を生成するために大規模言語モデル（LLM）を統合する。
• 応答の品質を保証し倫理的な対話を実現するため、安全モダレーショングレイヤー（例：OpenAI Moderation API）を導入する。
• コーチィーの関与度と適応の質の向上を反映するように、時間経過とともに増加する報酬関数を採用する。
• 適応モデルに基づき、選択・実施するポジティブ心理的エクササイズをリアルタイムで自律的に選択するコーチングループを実装する。

Figure 1 . The components of the VITA system for adaptive robotic mental well-being coaching.

実験結果

リサーチクエスチョン

• RQ1 自律的でマルチモーダルなロボットコーチは、事前スクリプト化されたモデルと比較して、コーチィーが対話性と応答性をより高く感じられるか。
• RQ2 4週間の期間にわたり、ロボットコーチは個々のコーチィーの行動パターン（例：顔の表情、発話時間）にどの程度適応できるか。
• RQ3 現実世界のロボットコーチィングセッションにおいて、対話の断絶を効果的に検出し、低減できるか。
• RQ4 LLM ベースの会話機能は、コーチィーが「理解されている」と感じたり「聞いてもらっている」と感じたりするのをどの程度向上させるか。
• RQ5 VITA を用いた長期的ロボットコーチングは、メンタルウェルビーイングに顕著かつ測定可能な改善をもたらすか。

主な発見

• コーチィーは、適応的で汎用的な VITA の設定を、事前スクリプト化されたモデルよりも顕著に肯定的に評価し、理解されていると感じたり、話が聞いてもらえたと感じたりした。
• 適応的 VITA システムは、時間経過とともに各コーチィーにパーソナライズに成功し、セッションを通じて強化学習の報酬信号に顕著な増加が観察された。
• 対話の断絶は、平均1セッションあたり3回（1回あたり約3秒）にまで低減され、過去の研究（15～20回／1回約10秒）と比較して顕著な改善が得られた。
• コーチィーは4週間のコーチング後、RPWSスケールで統計的に有意な向上を報告し、メンタルウェルビーイングに顕著な改善が見られた。
• インタビューでは、LLM による応答が自然で内容的に共感的であると評価された一方、一部の参加者は応答に感情の深みに欠けると指摘した。
• 4週間の研究期間中に、システムの故障や重大な障害は一切検出されず、現実世界での展開においても高い性能を示した。

Figure 2 . Architecture of the HARMONI modules integrated in the robotic coach system.