[论文解读] A Computational Approach to Understanding Empathy Expressed in Text-Based Mental Health Support

Ashish Sharma, Adam S. Miner+2 more|arXiv (Cornell University)|Sep 17, 2020

Digital Mental Health Interventions被引用 7

一句话总结

本文提出 Epitome，一种基于新型 10,000 份样本数据集的计算框架，用于在基于文本的心理健康对话中识别共情，该数据集以共情机制（情感反应、解释、探索）进行标注。基于 RoBERTa 的多任务双编码器模型可识别共情回应并提取推理依据，准确率达 80%，宏平均 F1 值达 70%；对 235,000 份真实互动的分析显示，同伴支持者在共情能力上并未随时间自我提升，凸显了基于 NLP 的反馈工具的迫切需求。

ABSTRACT

Empathy is critical to successful mental health support. Empathy measurement has predominantly occurred in synchronous, face-to-face settings, and may not translate to asynchronous, text-based contexts. Because millions of people use text-based platforms for mental health support, understanding empathy in these contexts is crucial. In this work, we present a computational approach to understanding how empathy is expressed in online mental health platforms. We develop a novel unifying theoretically-grounded framework for characterizing the communication of empathy in text-based conversations. We collect and share a corpus of 10k (post, response) pairs annotated using this empathy framework with supporting evidence for annotations (rationales). We develop a multi-task RoBERTa-based bi-encoder model for identifying empathy in conversations and extracting rationales underlying its predictions. Experiments demonstrate that our approach can effectively identify empathic conversations. We further apply this model to analyze 235k mental health interactions and show that users do not self-learn empathy over time, revealing opportunities for empathy training and feedback.

研究动机与目标

• 开发一个理论基础扎实、计算上可操作的框架，用于衡量异步、基于文本的心理健康对话中的共情。
• 收集并发布一个高质量的 10,000 份样本数据集，包含（帖子，回复）对，标注有共情机制及支持性推理依据。
• 构建一个基于多任务 RoBERTa 的双编码器模型，以识别共情机制并提取可解释的推理片段，用于模型决策。
• 在真实世界心理支持互动中评估模型在共情检测与推理提取方面的性能。
• 探究共情表达的模式及其对用户参与度与关系建立的影响，特别是在同伴支持平台中的作用。

提出的方法

• 提出 Epitome，一种包含三个组件的共情沟通框架：情感反应、解释（认知理解）与探索（深入探询洞察）。
• 从 TalkLife 平台收集 10,000 个（帖子，回复）对，由经过高度培训的众包工作者进行标注，具有较高的评分者间一致性。
• 开发一个基于多任务 RoBERTa 的双编码器模型，联合预测共情机制并从输入文本中提取支持性推理片段。
• 使用监督信号同时进行共情分类与片段提取的训练，以实现模型可解释性与反馈生成。
• 将模型应用于包含 235,000 项心理支持互动的真实世界数据集，分析共情趋势与用户结果。
• 开展概念验证性反馈干预，利用模型生成的洞察改善同伴支持者的回应质量。

实验结果

研究问题

• RQ1 如何系统性且计算化地刻画异步、基于文本的心理健康对话中的共情？
• RQ2 在线平台中的同伴支持者在多大程度上表达共情？其共情能力是否会随时间改善？
• RQ3 在情感反应、解释与探索这三种共情机制中，哪一种与积极的用户反馈及关系建立关联最强？
• RQ4 基于 NLP 的反馈工具是否能有效提升同伴支持回应的共情质量？
• RQ5 性别动态如何影响在线心理支持互动中共情的表达与接收？

主要发现

• 所提出的模型在识别共情对话方面达到 80% 的准确率与 70% 的宏平均 F1 值，相比基线模型在宏平均 F1 上高出 4 个百分点。
• 有效传达共情与用户点赞数增加 45%、回复数增加 47% 相关联，表明参与度与感知支持质量更高。
• 共情对话使关系建立的可能性提高 79%，以求助者在 24 小时内关注同伴支持者为衡量标准。
• 当回应同性别求助者时，女性同伴支持者的共情程度比男性同伴支持者高出 32%，凸显了共情表达中的性别差异。
• 大多数同伴支持者并未随时间自我提升共情能力，凸显了对自动化反馈与培训系统的需求。
• 概念验证性反馈干预利用模型洞察，使三位参与者的共情评分从 0.8 提升至 3.0，证明了基于 NLP 的培训方法的可行性。