[论文解读] Empathic Conversations: A Multi-level Dataset of Contextualized Conversations

Damilola Omitaomu, Shabnam Tafreshi+6 more|arXiv (Cornell University)|May 25, 2022

Mental Health via Writing被引用 24

一句话总结

本文介绍 Empathic Conversations 数据集，由 500 个基于文章的二人对话组成，具有多级同理心和人格注释，以及预测同理心、痛苦等相关特征的基线模型。

ABSTRACT

Empathy is a cognitive and emotional reaction to an observed situation of others. Empathy has recently attracted interest because it has numerous applications in psychology and AI, but it is unclear how different forms of empathy (e.g., self-report vs counterpart other-report, concern vs. distress) interact with other affective phenomena or demographics like gender and age. To better understand this, we created the {\it Empathic Conversations} dataset of annotated negative, empathy-eliciting dialogues in which pairs of participants converse about news articles. People differ in their perception of the empathy of others. These differences are associated with certain characteristics such as personality and demographics. Hence, we collected detailed characterization of the participants' traits, their self-reported empathetic response to news articles, their conversational partner other-report, and turn-by-turn third-party assessments of the level of self-disclosure, emotion, and empathy expressed. This dataset is the first to present empathy in multiple forms along with personal distress, emotion, personality characteristics, and person-level demographic information. We present baseline models for predicting some of these features from conversations.

研究动机与目标

• 在讨论新闻文章时，收集 500 个参与者之间的对话，具有丰富的人格和人口统计数据。
• 捕捉自我报告的同理心和痛苦、伙伴感知的同理心，以及轮次级同理心、情感和自我披露注释。
• 分析同理心量表、人口统计与人格特质之间的相关性。
• 开发基线模型以从文本与上下文预测轮次级同理心、情感、极性和自我披露。
• 展示多层注释在对话建模同理心方面的有用性。

提出的方法

• 在对话收集前通过调查收集人口统计数据和大五人格数据。
• 将对话置于 100 篇高同理心诱发的负面新闻文章中的其中一篇；参与者对初始同理心/痛苦进行打分（Batson量表）。
• 促成关于该文章的 15+ 轮次两人对话；结束时参与者对对方的感知同理心打分。
• 获得第三方的轮次级注释，涉及同理心、自我披露、情感与情感极性；对部分对话进行对话行为注释。
• 训练基线模型（Bi-RNN 带注意力和 RoBERTa-base）以预测轮次级和对话级的同理心相关标签；对轮次使用 70/15/15 的数据划分，文章进行标准微调。
• 探索人格/人口统计与同理心之间的相关性，并评估简单文本特征（如代词使用）与感知同理心的相关性。

实验结果

研究问题

• RQ1 自我报告的同理心/痛苦、伙伴感知同理心与轮次级同理心注释之间的关系是什么？
• RQ2 人口统计因素和人格特质如何与对话中的同理心与痛苦相关？
• RQ3 模型从文本和上下文中多准确地预测轮次级同理心、情感、极性和自我披露？
• RQ4 模型在预测对话参与者之间感知的对方同理心方面表现如何？
• RQ5 简单文本特征与对话中的感知同理心有关吗？

主要发现

• 共收集 500 条对话，含 5,821 条轮次级注释和 1,400 条轮次级对话行为；数据集包含 79 名具有人口统计和人格数据的参与者。
• RoBERTa-base 在轮次级预测中表现最好，同理心 0.771，情感 0.814，情感极性 0.812，自我披露 0.769（皮尔逊相关 r）。
• Bi-RNN 结合注意力和额外数值特征在情感、极性和自我披露预测方面优于基础 Bi-RNN；RoBERTa-base 在轮次级任务上通常优于神经基线。
• 感知对方同理心（Person 2）比 Person 1 更可预测（0.115 对比 0.268），使用 Bi-RNN-att；基于论文的同理心/痛苦预测（RoBERTa-base）得到同理心 0.560 和痛苦 0.665（平均 0.612）。
• 对话中的代词使用在简单文本特征中与感知同理心的相关性最强（相关性 0.468）。
• 性别、年龄、教育水平与自我报告的同理心/痛苦以及轮次级同理心存在不同关联，表明人口统计和人格对同理心表达有影响。