[論文レビュー] Human-AI Collaboration Enables More Empathic Conversations in Text-based Peer-to-Peer Mental Health Support

Ashish Sharma, Inna Wanyin Lin+3 more|arXiv (Cornell University)|Mar 28, 2022

Digital Mental Health Interventions被引用数 22

ひとこと要約

tldr: 本研究は TalkLife のピアサポーターに対して即時的な共感的ライティングのフィードバックを提供する AI-イン-ザ-ループ システム Hailey を導入し、オンラインのピアツーピアのメンタルヘルス会話における表現共感の大幅な増加をもたらす。

ABSTRACT

Advances in artificial intelligence (AI) are enabling systems that augment and collaborate with humans to perform simple, mechanistic tasks like scheduling meetings and grammar-checking text. However, such Human-AI collaboration poses challenges for more complex, creative tasks, such as carrying out empathic conversations, due to difficulties of AI systems in understanding complex human emotions and the open-ended nature of these tasks. Here, we focus on peer-to-peer mental health support, a setting in which empathy is critical for success, and examine how AI can collaborate with humans to facilitate peer empathy during textual, online supportive conversations. We develop Hailey, an AI-in-the-loop agent that provides just-in-time feedback to help participants who provide support (peer supporters) respond more empathically to those seeking help (support seekers). We evaluate Hailey in a non-clinical randomized controlled trial with real-world peer supporters on TalkLife (N=300), a large online peer-to-peer support platform. We show that our Human-AI collaboration approach leads to a 19.60% increase in conversational empathy between peers overall. Furthermore, we find a larger 38.88% increase in empathy within the subsample of peer supporters who self-identify as experiencing difficulty providing support. We systematically analyze the Human-AI collaboration patterns and find that peer supporters are able to use the AI feedback both directly and indirectly without becoming overly reliant on AI while reporting improved self-efficacy post-feedback. Our findings demonstrate the potential of feedback-driven, AI-in-the-loop writing systems to empower humans in open-ended, social, creative tasks such as empathic conversations.

研究の動機と目的

• オンラインのピアツーピアのメンタルヘルス・プラットフォームで多くのサポーターが訓練を受けていない中、共感的で開放的なサポートを動機付け、可能にする。
• ピアサポーターに対して実用的で即時的な共感ガイダンスを提供できる AI-イン-ザ-ループのフィードバック・エージェントを開発・評価する。
• 臨床外のランダム化試験において、人間とAI の協働が従来の訓練だけを用いた場合を超えて表現共感を高めるかを評価する。

提案手法

• seeker 投稿と現在のサポーターの応答に基づき、Insert と Replace のオプションを提供する即時フィードバックを行うよう Hailey を設計する。
• TalkLife 上で N=300 の参加者を対象に、人間+AI（治療）対 Human Only（対照）を比較する非臨床的ランダム化対照試験を実施する。
• 安全性を確保するための事後的な安全性・倫理的措置を用い、結果を人間評価と自動的な共感スコアリングの双方で評価する。

実験結果

リサーチクエスチョン

• RQ1 即時的な人間-AI フィードバックは、フィードバックなしと比較してピアサポーターの共感的応答を増加させるか。
• RQ2 共感的な応答を書き難いサポーターとそうでないサポーターに対して、人間-AI の協働はどのように影響するか。
• RQ3 人間-AI の協働のパターン（相談頻度と使用頻度）は、共感の獲得とどのような関係があるか。

主な発見

• Human+AI フィードバックは、Human Only に比べ共感的スコアが 19.60% 高い（0–6 スケールで 1.77 対 1.48、p<1e-5）。
• 独立した人間評価では、Human+AI の応答は共感的と評価される割合が 46.87% で、Human Only の 37.40% より高い（p<0.01）。
• 共感的な応答を書くことに困難を訴える参加者の中では、Human+AI の共感獲得は 38.88%、Human Only は 11.87%（p<1e-5）。
• AI をより頻繁に相談した参加者は、表現された共感が高く、AI の頻繁な使用が共感スコアの向上と相関した。
• フィードバックは有用だと感じた割合が 63.31%、実行性が高いと感じた割合が 60.43%、TalkLife のようなプラットフォームでの展開を望む割合が 77.70%。
• 研究後、サポート提供に自信を持てると回答した割合が 69.78%。