[논문 리뷰] "I Like Sunnie More Than I Expected!": Exploring User Expectation and Perception of an Anthropomorphic LLM-based Conversational Agent for Well-Being Support

Siyi Wu, Cachia, Julie Y. A.외 5명|arXiv (Cornell University)|2024. 05. 22.

Digital Mental Health InterventionsPsychology인용 수 3

한 줄 요약

이 논문은 긍정심리학에 기반한 개인화된 다단계 대화 및 활동 추천을 통해 정서적 웰빙을 향상시키기 위해 설계된 인간형 LLM 기반 대화형 에이전트인 Sunnie를 소개한다. 비록 사용자들이 신뢰성, 자연스러움, 개인화 정도를 높게 평가했지만, Sunnie는 비인간형 기반선 대비 사용자들이 추천된 웰빙 활동을 이행할 의욕에 유의미한 향상을 보이지 않았다.

ABSTRACT

The human-computer interaction (HCI) research community has a longstanding interest in exploring the mismatch between users' actual experiences and expectation toward new technologies, for instance, large language models (LLMs). In this study, we compared users' (N = 38) initial expectations against their post-interaction perceptions of two LLM-powered mental well-being intervention activity recommendation systems. Both systems have a built-in LLM to recommend a personalized well-being intervention activity, but one system (Sunnie) has an anthropomorphic conversational interaction design via elements such as appearance, persona, and natural conversation. Results showed that user engagement was high with both systems, and both systems exceeded users' expectations along the utility dimension, highlighting AI's potential to offer useful intervention activity recommendations. In addition, Sunnie further outperformed the non-anthropomorphic baseline system in relational warmth. These findings suggest that anthropomorphic conversational interaction design may be particularly effective in fostering warmth in mental health support contexts.

연구 동기 및 목표

• 정서적 웰빙 향상을 위한 권장 활동의 이행률을 높임으로써 지식-행동 격차를 해소하기 위해.
• LLM 기반 대화형 에이전트의 인간형 디자인이 사용자 인식 및 웰빙 지원에 대한 참여도를 향상시키는지 조사하기 위해.
• 기존의 설문 기반 시스템과 비교해 자연스럽고 성격 기반 대화가 활동 추천의 효과를 높이는지 평가하기 위해.
• 사용자 신뢰, 개인화 정도, 사용성에 영향을 주는 설계 요소를 특정하기 위해.
• 향상된 사용자 경험에도 불구하고 인간형 디자인이 실제 행동 변화를 이끌어내는 데에는 한계가 있음을 탐색하기 위해.

제안 방법

• 사용자 공감과 유사성 감각을 구현하기 위해 정의된 성격과 인간형 외형을 가진 LLM 기반 대화형 에이전트인 Sunnie를 설계 및 구현한다.
• 사용자의 정서 상태에 대해 맥락 인식이 가능한 자연스러운 대화를 유지할 수 있도록 다단계 대화 시스템을 통합한다.
• 자기공감 및 의미 있는 관계 수립과 같은 긍정심리학 이론에 기반한 개인화된 활동 추천 엔진을 개발한다.
• Sunnie(인간형, 대화형)와 비인간형, 비대화형 LLM 기반 추천 시스템을 비교하는 제어된 사용자 연구(N=40)를 수행한다.
• 사용자 인식 평가 척도(신뢰성, 자연스러움, 개인화, 관계 품질 등)를 사용하여 평가한다.
• 정량적 결과를 보완하기 위해 표현력, 유용성, 공감 능력에 대한 정성적 피드백을 수집 및 분석한다.

실험 결과

연구 질문

• RQ1 인간형 대화형 에이전트는 비인간형 시스템에 비해 사용자 인식의 신뢰성, 자연스러움, 개인화 정도를 향상시키는가?
• RQ2 Sunnie의 대화형 및 성격 기반 설계는 사용자 참여도와 인식된 관계 품질에 어느 정도 기여하는가?
• RQ3 인간형 디자인이 사용자들이 추천된 웰빙 활동을 이행할 의욕에 유의미한 영향을 미치는가?
• RQ4 표현력, 공감 능력, 인식된 유용성은 정서적 웰빙 챗봇에 대한 사용자 인식에 어떤 역할을 하는가?
• RQ5 사용자들은 정서적 웰빙을 위한 대화형 에이전트에서 우호성과 전문적 권위 사이의 균형을 어떻게 평가하는가?

주요 결과

• Sunnie는 비인간형 기반선 대비 사용자 인식의 자연스러움, 신뢰성, 긍정적 관계, 개인화 정도를 유의미하게 향상시켰다.
• 참가자들은 Sunnie의 유용성, 표현력, 우호성을 더 높게 평가했지만, 행동 이행 결과에서는 통계적 유의성이 없었다.
• 높은 사용성과 긍정적인 인식에도 불구하고, Sunnie와 기반선 시스템 간 사용자들이 추천 활동을 이행할 의욕에 유의미한 차이가 없었다.
• 정성적 피드백은 사용자가 공감 능력, 자연스러움, 맞춤형 응답을 중요하게 여긴다는 점을 드러내었으며, 이는 정서적 공명이 중요하지만 행동 변화를 이끌어내기에는 충분하지 않다는 것을 시사한다.
• 연구는 우호성과 전문적 권위 사이의 잠재적 상충 관계를 드러내었으며, 이는 사용자 행동 동기 부여에 영향을 줄 수 있다.
• 장기적인 행동 영향은 입증되지 않았으며, 지속적인 참여도와 정서적 웰빙 결과를 평가하기 위해 종단적 연구가 필요하다는 점을 시사한다.