[논문 리뷰] Understanding the Benefits and Challenges of Using Large Language Model-based Conversational Agents for Mental Well-being Support

Zilin Ma, Yiyang Mei외 1명|PubMed|2023. 07. 28.

Digital Mental Health Interventions참고 문헌 14인용 수 36

한 줄 요약

이 논문은 120개의 게시물과 2917개의 댓글에서 LLM 기반 정신 건강 웰빙 에이전트(Replika)에 대한 사용자 경험을 질적으로 분석하고, 정신 건강 지원에 대한 이점과 도전을 강조합니다.

ABSTRACT

Conversational agents powered by large language models (LLM) have increasingly been utilized in the realm of mental well-being support. However, the implications and outcomes associated with their usage in such a critical field remain somewhat ambiguous and unexplored. We conducted a qualitative analysis of 120 posts, encompassing 2917 user comments, drawn from the most popular subreddit focused on mental health support applications powered by large language models (u/Replika). This exploration aimed to shed light on the advantages and potential pitfalls associated with the integration of these sophisticated models in conversational agents intended for mental health support. We found the app (Replika) beneficial in offering on-demand, non-judgmental support, boosting user confidence, and aiding self-discovery. Yet, it faced challenges in filtering harmful content, sustaining consistent communication, remembering new information, and mitigating users' overdependence. The stigma attached further risked isolating users socially. We strongly assert that future researchers and designers must thoroughly evaluate the appropriateness of employing LLMs for mental well-being support, ensuring their responsible and effective application.

연구 동기 및 목표

• LLM 기반 대화 에이전트가 정신 건강 웰빙 지원에 제공하는 이점을 평가한다.
• 정신 건강 맥락에서의 사용과 관련된 도전과 위험을 식별한다.
• 이 에이전트의 책임 있는 배치에 관한 연구자 및 설계자들을 위한 가이드를 제공한다.

제안 방법

• LLM-파워드 에이전트에 초점을 맞춘 인기 있는 정신 건강 지원 서브레딧(u/Replika)에서 120개의 게시물과 2917개의 사용자 댓글의 질적 분석.
• 정신 건강 웰빙 지원에서 에이전트가 제공하는 이점과 도전을 식별하기 위한 주제 코딩.
• 책임 있는 사용을 위한 디자인 고려사항을 알리기 위한 연구 결과의 종합.

실험 결과

연구 질문

• RQ1 LLM 기반 대화 에이전트를 정신 건강 웰빙 지원에 사용할 때 사용자가 보고하는 이점은 무엇인가?
• RQ2 이 에이전트와의 상호작용에서 사용자가 직면하는 도전이나 위험은 무엇인가(예: 콘텐츠 필터링, 일관성, 기억, 과도한 의존 등)?
• RQ3 낙인과 같은 사회적 요인이 이러한 에이전트의 정신 건강 지원 사용에 어떤 영향을 미치는가?

주요 결과

• 에이전트는 필요할 때 즉시 제공되는 비판단적 지원을 제공하고 사용자의 자신감을 높일 수 있다.
• 그들은 자기 발견과 개인적 성찰을 돕는다.
• 도전 과제로는 해로운 콘텐츠 필터링, 일관된 커뮤니케이션 유지, 새로운 정보를 기억하는 것, 과도한 의존 완화가 있다.
• 이러한 에이전트 사용과 관련된 낙인으로 인한 사회적 고립 위험이 있다.
• 본 연구는 정신 건강 웰빙 지원을 위한 LLM의 적합성과 책임 있는 사용 평가를 강조한다.