[論文レビュー] A Computational Approach to Understanding Empathy Expressed in Text-Based Mental Health Support

Ashish Sharma, Adam S. Miner+2 more|arXiv (Cornell University)|Sep 17, 2020

Digital Mental Health Interventions被引用数 7

ひとこと要約

本論文では、感情的反応、解釈、探求の3つの共感メカニズムを含む、10,000件のサンプルで構成される新規データセットを用いて、テキストベースのメンタルヘルス支援会話における共感を同定する計算フレームワーク「Epitome」を紹介する。マルチタスクRoBERTaベースのバイエンコーダー・モデルは、共感的な反応を特定し、意思決定の根拠を抽出する。80%の正解率と70%のマクロF1スコアを達成。235,000件の実際の相互作用の分析から、ペア支援者は時間経過とともに共感力を自ら向上させないことが判明し、NLP駆動のフィードバックツールの必要性が浮き彫りになった。

ABSTRACT

Empathy is critical to successful mental health support. Empathy measurement has predominantly occurred in synchronous, face-to-face settings, and may not translate to asynchronous, text-based contexts. Because millions of people use text-based platforms for mental health support, understanding empathy in these contexts is crucial. In this work, we present a computational approach to understanding how empathy is expressed in online mental health platforms. We develop a novel unifying theoretically-grounded framework for characterizing the communication of empathy in text-based conversations. We collect and share a corpus of 10k (post, response) pairs annotated using this empathy framework with supporting evidence for annotations (rationales). We develop a multi-task RoBERTa-based bi-encoder model for identifying empathy in conversations and extracting rationales underlying its predictions. Experiments demonstrate that our approach can effectively identify empathic conversations. We further apply this model to analyze 235k mental health interactions and show that users do not self-learn empathy over time, revealing opportunities for empathy training and feedback.

研究の動機と目的

• 非同期的でテキストベースのメンタルヘルス支援会話における共感を、理論的根拠に基づき、計算的に実行可能なフレームワークとして測定すること。
• 共感メカニズムと根拠となる説明を付与した、高品質な10,000件の(投稿, 返信)ペアで構成されるデータセットを収集・公開すること。
• 共感メカニズムを特定し、意思決定の根拠となるスパンを抽出する、マルチタスクRoBERTaベースのバイエンコーダー・モデルを構築すること。
• 実世界のメンタルヘルス支援の相互作用において、共感検出と根拠抽出の両方の性能を評価すること。
• ペア支援プラットフォームにおける共感の表現様式と、ユーザーの関与度および関係形成への影響を調査すること。

提案手法

• 共感コミュニケーションの3段階フレームワーク（感情的反応、解釈（認知的理解）、探求（より深い洞察を求める））を提唱する。
• TalkLifeから10,000件の(投稿, 返信)ペアを収集し、熟練したクラウドワーカーが高信頼性の評価を実施。
• 入力テキストから共感メカニズムを予測し、根拠となるスパンを抽出する、マルチタスクRoBERTaベースのバイエンコーダー・モデルを開発。
• 共感分類とスパン抽出の両方の教師信号を用いてモデルを学習させ、モデルの解釈可能性とフィードバック生成を可能にする。
• 235,000件の実世界のメンタルヘルス支援相互作用データセットにモデルを適用し、共感のトレンドとユーザーの結果を分析。
• モデルが生成した知見を用いたフィードバック干渉の概念実証を実施。

実験結果

リサーチクエスチョン

• RQ1 テキストベースで非同期的なメンタルヘルス支援会話における共感は、どのように体系的かつ計算的に特徴付けられるか？
• RQ2 オンラインプラットフォームにおけるペア支援者はどの程度共感を示しているのか？また、時間経過とともにその能力は向上するのか？
• RQ3 感情的反応、解釈、探求のうち、どの共感メカニズムが肯定的なユーザーのフィードバックおよび関係形成と強く関連しているか？
• RQ4 NLPベースのフィードバックツールは、ペア支援の共感的質を効果的に向上させることができるか？
• RQ5 ジェンダーのダイナミクスは、オンラインメンタルヘルス支援の会話における共感の表現と受容にどのように影響するか？

主な発見

• 提案されたモデルは、共感会話の識別において80%の正解率と70%のマクロF1スコアを達成。ベースラインモデルに比べてマクロF1スコアで4ポイント上回った。
• 共感の明確な表現は、ユーザーの「いいね」が45%増加し、返信数が47%増加する傾向を示し、関与度と支援の質の高さが顕著に向上した。
• 共感的な会話は、24時間以内に支援者をフォローする確率を79%向上させ、関係形成の可能性が高まった。
• 女性のペア支援者は、同性の支援者に対して反応する際、男性支援者に比べて32%高い共感度を示した。これは、共感の表現におけるジェンダー差を示している。
• 大多数のペア支援者は、時間経過とともに自ら共感力を高めないことが判明し、自動化されたフィードバックおよびトレーニングシステムの必要性が強く示された。
• モデルの知見を用いた概念実証のフィードバック干渉により、3名の参加者で共感スコアが0.8から3.0に上昇し、NLP駆動のトレーニングの実現可能性が示された。