[论文解读] "I Like Sunnie More Than I Expected!": Exploring User Expectation and Perception of an Anthropomorphic LLM-based Conversational Agent for Well-Being Support

Siyi Wu, Cachia, Julie Y. A.+5 more|arXiv (Cornell University)|May 22, 2024

Digital Mental Health InterventionsPsychology被引用 3

一句话总结

本文介绍了Sunnie，一个基于大语言模型（LLM）的拟人化对话代理，旨在通过个性化的多轮对话和基于积极心理学的活动推荐，提升用户的心理健康水平。尽管显著增强了用户对信任感、自然性和个性化体验的感知，Sunnie并未显著提高用户采纳推荐心理健康活动的意愿，相较于非拟人化的基线系统，这一差距并不显著。

ABSTRACT

The human-computer interaction (HCI) research community has a longstanding interest in exploring the mismatch between users' actual experiences and expectation toward new technologies, for instance, large language models (LLMs). In this study, we compared users' (N = 38) initial expectations against their post-interaction perceptions of two LLM-powered mental well-being intervention activity recommendation systems. Both systems have a built-in LLM to recommend a personalized well-being intervention activity, but one system (Sunnie) has an anthropomorphic conversational interaction design via elements such as appearance, persona, and natural conversation. Results showed that user engagement was high with both systems, and both systems exceeded users' expectations along the utility dimension, highlighting AI's potential to offer useful intervention activity recommendations. In addition, Sunnie further outperformed the non-anthropomorphic baseline system in relational warmth. These findings suggest that anthropomorphic conversational interaction design may be particularly effective in fostering warmth in mental health support contexts.

研究动机与目标

• 通过提升用户对推荐心理活动的采纳意愿，弥合心理健康领域中的‘知识-行动’鸿沟。
• 探究基于LLM的对话代理中拟人化设计是否能增强用户对心理健康支持的感知与参与度。
• 评估自然化、人格化驱动的对话是否相较于传统基于问卷的系统，能更有效地提升活动推荐的效果。
• 识别影响用户对心理健康聊天机器人的信任感、感知个性化程度及可用性的设计因素。
• 探索拟人化设计在提升用户体验的同时，为何仍难以有效推动实际行为改变的局限性。

提出的方法

• 设计并实现Sunnie，一个具备明确人格设定与拟人化外观的大语言模型驱动对话代理，以模拟共情与亲和力。
• 集成多轮对话系统，利用大语言模型实现对用户情绪状态的上下文感知、自然流畅的对话交互。
• 基于积极心理学理论（如自我同情与有意义联结）开发个性化活动推荐引擎。
• 开展一项受控用户研究（N=40），将Sunnie（拟人化、对话式）与非拟人化、非对话式的LLM推荐系统进行对比。
• 采用标准化量表测量用户对信任感、自然性、个性化程度及关系质量的感知。
• 收集并分析定性反馈，涵盖表达力、帮助性及感知共情程度，以补充量化研究结果。

实验结果

研究问题

• RQ1 与非拟人化系统相比，拟人化对话代理是否显著提升用户对信任感、自然性和个性化的感知？
• RQ2 Sunnie的对话式与人格化设计在多大程度上增强了用户参与度与感知关系质量？
• RQ3 拟人化设计是否显著提升了用户采纳推荐心理健康活动的意愿？
• RQ4 表达力、共情能力与感知帮助性在塑造用户对心理健康聊天机器人感知方面发挥何种作用？
• RQ5 用户如何感知对话代理在‘友好性’与‘专业权威性’之间的平衡？

主要发现

• 与非拟人化基线相比，Sunnie显著提升了用户对自然性、信任感、积极关系及个性化程度的感知。
• 参与者报告称Sunnie更具帮助性、表达力与友好度，但这些感知在实际行为采纳结果上未达统计显著性。
• 尽管可用性良好且用户感知积极，Sunnie与基线系统在用户采纳推荐活动的意愿方面无显著差异。
• 定性反馈表明，用户高度重视共情能力、自然对话与量身定制的回应，提示情感共鸣虽重要，但不足以促成行为改变。
• 本研究揭示了‘感知友好性’与‘感知专业权威性’之间可能存在权衡，可能影响用户采取行动的动机。
• 长期行为影响尚未得到验证，提示未来需开展纵向研究以评估持续参与度与心理健康结果。