[논문 리뷰] Human-AI Collaboration Enables More Empathic Conversations in Text-based Peer-to-Peer Mental Health Support

Ashish Sharma, Inna Wanyin Lin외 3명|arXiv (Cornell University)|2022. 03. 28.

Digital Mental Health Interventions인용 수 22

한 줄 요약

The study introduces Hailey, an AI-in-the-loop system that provides just-in-time empathic-writing feedback to peer supporters on TalkLife, yielding substantial increases in expressed empathy in online peer-to-peer mental health conversations.

ABSTRACT

Advances in artificial intelligence (AI) are enabling systems that augment and collaborate with humans to perform simple, mechanistic tasks like scheduling meetings and grammar-checking text. However, such Human-AI collaboration poses challenges for more complex, creative tasks, such as carrying out empathic conversations, due to difficulties of AI systems in understanding complex human emotions and the open-ended nature of these tasks. Here, we focus on peer-to-peer mental health support, a setting in which empathy is critical for success, and examine how AI can collaborate with humans to facilitate peer empathy during textual, online supportive conversations. We develop Hailey, an AI-in-the-loop agent that provides just-in-time feedback to help participants who provide support (peer supporters) respond more empathically to those seeking help (support seekers). We evaluate Hailey in a non-clinical randomized controlled trial with real-world peer supporters on TalkLife (N=300), a large online peer-to-peer support platform. We show that our Human-AI collaboration approach leads to a 19.60% increase in conversational empathy between peers overall. Furthermore, we find a larger 38.88% increase in empathy within the subsample of peer supporters who self-identify as experiencing difficulty providing support. We systematically analyze the Human-AI collaboration patterns and find that peer supporters are able to use the AI feedback both directly and indirectly without becoming overly reliant on AI while reporting improved self-efficacy post-feedback. Our findings demonstrate the potential of feedback-driven, AI-in-the-loop writing systems to empower humans in open-ended, social, creative tasks such as empathic conversations.

연구 동기 및 목표

• 온라인 피어-투-피어 정신건강 플랫폼에서 많은 서포터가 훈련되지 않은 상태인 상황에서 공감적이고 개방형 지원을 동기 부여하고 가능하게 한다.
• 피어 서포터에게 실행 가능한 즉시 공감 가이드를 제공할 수 있는 AI-in-the-loop 피드백 에이전트를 개발하고 평가한다.
• 비임상 무작위 대조시험에서 인간-AI 협업이 전통적 교육 수준을 넘어 표현된 공감을 증가시키는지 평가한다.

제안 방법

• Seeker 포스트와 현재 서포터의 반응에 기반하여 Insert와 Replace 옵션으로 시점에 맞춘 피드백을 제공하도록 Hailey를 설계한다.
• TalkLife에서 N=300명 참가자를 대상으로 인간+AI(treatment) 대 인간 단독(control)을 비교하는 비임상 무작위 대조시험을 실시한다.
• 결과를 평가하기 위해 인간 평가와 자동 공감 점수를 모두 사용하고, 사후 안전 및 윤리 조치를 통해 안전성을 보장한다.

실험 결과

연구 질문

• RQ1 시점에 맞춘 인간-AI 피드백이 피어 서포터의 공감 반응을 피드백이 없는 경우와 비교하여 증가시키는가?
• RQ2 공감 글쓰기의 어려움이 있는 서포터와 그렇지 않은 서포터 간의 인간-AI 협력이 공감 반응에 어떤 영향을 미치는가?
• RQ3 인간-AI 협업의 패턴(상담 빈도 및 사용량)과 공감 증가 간의 관계는 어떠한가?

주요 결과

• Human+AI 피드백은 0–6 척도에서 Human Only 대비 공감 점수를 19.60% 더 높게 만든다(1.77 대 1.48, p<1e-5).
• 독립적 인간 평가에서 Human+AI 응답이 더 공감적이라고 평가된 비율은 46.87%로, Human Only의 37.40%보다 높다(p<0.01).
• 작성 도전에 직면했다고 보고한 참가자 중에서 공감 상승은 Human+AI가 38.88%였고 Human Only는 11.87%였으며(p<1e-5).
• AI를 더 자주 조회한 참가자는 표현된 공감이 더 높았고, 잦은 AI 사용이 더 높은 공감 점수와 양의 상관관계를 보였다.
• 피드백이 도움이 되었다고 응답한 비율은 63.31%, 실행 가능하다고 응답한 비율은 60.43%, 그리고 77.70%가 TalkLife와 같은 플랫폼에 배포되기를 원했다.
• 연구 후 지원 제공에 대해 더 자신감을 느꼈다고 응답한 비율은 69.78%.