[論文レビュー] "I Like Sunnie More Than I Expected!": Exploring User Expectation and Perception of an Anthropomorphic LLM-based Conversational Agent for Well-Being Support

Siyi Wu, Cachia, Julie Y. A.+5 more|arXiv (Cornell University)|May 22, 2024

Digital Mental Health InterventionsPsychology被引用数 3

ひとこと要約

本稿では、ポジティブ心理学に基づいた個人化された多段階会話と活動提案を通じて、精神的健康を向上させるために設計された人間らしさを備えたLLMベースの会話型エージェント、Sunnieを紹介する。Sunnieは、信頼性、自然さ、パーソナライズ性に関するユーザーの認識を顕著に向上させたが、非人間的ベースラインと比較して、推奨される健康促進活動の実施意欲に有意な向上は見られなかった。

ABSTRACT

The human-computer interaction (HCI) research community has a longstanding interest in exploring the mismatch between users' actual experiences and expectation toward new technologies, for instance, large language models (LLMs). In this study, we compared users' (N = 38) initial expectations against their post-interaction perceptions of two LLM-powered mental well-being intervention activity recommendation systems. Both systems have a built-in LLM to recommend a personalized well-being intervention activity, but one system (Sunnie) has an anthropomorphic conversational interaction design via elements such as appearance, persona, and natural conversation. Results showed that user engagement was high with both systems, and both systems exceeded users' expectations along the utility dimension, highlighting AI's potential to offer useful intervention activity recommendations. In addition, Sunnie further outperformed the non-anthropomorphic baseline system in relational warmth. These findings suggest that anthropomorphic conversational interaction design may be particularly effective in fostering warmth in mental health support contexts.

研究の動機と目的

• 心理的活動の推奨に対するユーザーの実施意欲を向上させることで、精神的健康分野における知識と行動のギャップを解消すること。
• 人間らしさを備えたLLMベースの会話型エージェントが、精神的健康支援におけるユーザーの認識と関与度を向上させるかどうかを調査すること。
• 従来のアンケートベースのシステムと比較して、自然でキャラクター主導の会話が活動提案の効果を高めるかどうかを評価すること。
• ユーザーの信頼、パーソナライズ性、使いやすさに影響を与える設計要因を同定すること。
• ユーザー体験が向上しても、実際の行動変容を促すには至らない人間らしさデザインの限界を明らかにすること。

提案手法

• 人間らしさを備えたキャラクターと外見を持つ、LLM駆動の会話型エージェントSunnieを設計・実装し、共感や親しみやすさを模倣する。
• LLMを用いてユーザーの感情状態について文脈に即した自然な会話を継続可能な多段階会話システムを統合する。
• 自己寛容や意味のある人間関係といったポジティブ心理学理論に基づいた、パーソナライズされた活動提案エンジンを開発する。
• Sunnie（人間らしさあり、会話型）と非人間的・非会話型のLLMベースの推薦システムを比較する制御されたユーザー実験（N=40）を実施する。
• 標準化された尺度を用いて、ユーザーの信頼性、自然さ、パーソナライズ性、関係性の質の認識を測定する。
• 定量的結果を補完するために、表現力、有用性、共感の認識に関する定性的フィードバックを収集・分析する。

実験結果

リサーチクエスチョン

• RQ1 人間らしさを備えた会話型エージェントは、非人間的システムと比較して、ユーザーの信頼性、自然さ、パーソナライズ性の認識を向上させるか？
• RQ2 Sunnieの会話型およびキャラクター主導の設計は、ユーザーの関与度および関係性の質の認識をどの程度向上させるか？
• RQ3 人間らしさを備えたデザインは、ユーザーが推奨される精神的健康活動を実施する意欲を顕著に高めるか？
• RQ4 表現力、共感、有用性の認識が、精神的健康チャットボットに対するユーザーの認識に果たす役割は何か？
• RQ5 会話型エージェントとしての精神的健康支援において、親しみやすさと専門的権威のバランスは、ユーザーにどのように認識されるか？

主な発見

• Sunnieは、非人間的ベースラインと比較して、自然さ、信頼性、肯定的な関係性、パーソナライズ性の認識を顕著に向上させた。
• 参加者はSunnieに対して、より高い有用性、表現力、親しみやすさを認識したが、行動への移行という点では有意差は認められなかった。
• 使いやすさと肯定的な認識が高まっても、Sunnieとベースラインシステム間で、推奨活動の実施意欲に有意な差は認められなかった。
• 定性的フィードバックから、ユーザーは共感、自然さ、カスタマイズされた応答を重視しており、感情的な共鳴が重要であるが、行動変容には十分でないことが示唆された。
• 本研究は、親しみやすさと専門的権威の間で潜在的なトレードオフがある可能性を明らかにした。これは、ユーザーの行動動機に影響を及える可能性がある。
• 長期的な行動的影響は裏付けられていないため、継続的な関与と精神的健康の結果を評価するための縦断的研究の必要性が示された。