[논문 리뷰] Empathic Conversations: A Multi-level Dataset of Contextualized Conversations

Damilola Omitaomu, Shabnam Tafreshi외 6명|arXiv (Cornell University)|2022. 05. 25.

Mental Health via Writing인용 수 24

한 줄 요약

이 논문은 다층의 공감과 성격 주석이 달린 500개의 기사 기반 다이얼로그로 구성된 Empathic Conversations 데이터셋과 공감, 고통 및 관련 특성을 예측하는 베이스라인 모델을 제시한다.

ABSTRACT

Empathy is a cognitive and emotional reaction to an observed situation of others. Empathy has recently attracted interest because it has numerous applications in psychology and AI, but it is unclear how different forms of empathy (e.g., self-report vs counterpart other-report, concern vs. distress) interact with other affective phenomena or demographics like gender and age. To better understand this, we created the {\it Empathic Conversations} dataset of annotated negative, empathy-eliciting dialogues in which pairs of participants converse about news articles. People differ in their perception of the empathy of others. These differences are associated with certain characteristics such as personality and demographics. Hence, we collected detailed characterization of the participants' traits, their self-reported empathetic response to news articles, their conversational partner other-report, and turn-by-turn third-party assessments of the level of self-disclosure, emotion, and empathy expressed. This dataset is the first to present empathy in multiple forms along with personal distress, emotion, personality characteristics, and person-level demographic information. We present baseline models for predicting some of these features from conversations.

연구 동기 및 목표

• 풍부한 성격 및 인구통계 데이터를 포함한 기사에 대해 토론하는 크라우드 워커 간의 500개의 대화를 수집한다.
• 자기보고된 공감과 고통, 파트너가 인지한 공감, 그리고 공감, 감정, 자기노출의 턴 단위 주석을 포착한다.
• 공감 척도, 인구통계학 및 성격 특성 간의 상관관계를 분석한다.
• 텍스트와 맥락에서 턴 단위 공감, 감정, 극성, 그리고 자기노출을 예측하기 위한 베이스라인 모델을 개발한다.
• 다이얼로그에서 공감을 모델링하기 위한 다층 주석의 유용성을 보여준다.

제안 방법

• 대화 수집 전에 설문조사를 통해 인구통계 데이터와 Big Five 성격 데이터를 수집한다.
• 대화를 100개 중 하나의 매우 공감 유도적 부정 기사에 기반시키고; 참가자는 초기 공감/고통을 평가한다( Batson 척도 ).
• 기사에 대한 15회 이상의 턴의 2인 대화를 촉진하고, 끝에 참가자는 파트너가 인지한 공감을 평가한다.
• 타인 관점의 턴 단위 주석으로 공감, 자기노출, 감정, 정서적 극성을 획득하고; 일부를 대화 행위로 주석한다.
• 베이스라인 모델(Bi-RNN with attention 및 RoBERTa-base)을 훈련하여 턴-수준 및 대화-수준 공감 관련 라벨을 예측; 턴에는 70/15/15 데이터 분할을 사용하고 에세이에 대해서는 표준 미세조정을 사용한다.
• 성격/인구통계와 공감 간의 상관관계를 탐색하고, 간단한 텍스트 특성(예: 대명사 사용)과 인지된 공감 간의 상관관계를 평가한다.

실험 결과

연구 질문

• RQ1 자기보고된 공감/고통, 파트너가 인지한 공감, 턴-수준 공감 주석 간의 관계는 무엇인가?
• RQ2 인구통계적 요인과 성격 특성이 대화에서의 공감과 고통과 어떤 관련이 있는가?
• RQ3 텍스트와 맥락으로 턴-수준 공감, 감정, 극성, 자기노출을 모델이 얼마나 정확하게 예측할 수 있는가?
• RQ4 대화 참가자 전반에 걸쳐 인식된 상대방 공감을 모델이 얼마나 잘 예측할 수 있는가?
• RQ5 간단한 텍스트 특징이 대화에서 인지된 공감과 관련이 있는가?

주요 결과

• 500개의 대화와 5,821개의 턴-수준 주석 및 1,400개의 턴-수준 대화 행위가 수집되었으며; 데이터셋에는 인구통계 및 성격 데이터를 가진 79명의 참가자가 포함되어 있다.
• RoBERTa-base가 턴-수준 예측에서 가장 강력한 성능을 달성했으며 공감 0.771, 감정 0.814, 감정 극성 0.812, 자기노출 0.769(피어슨 상관 계수 r).
• Bi-RNN과 주목을 가진 모델과 추가 수치 특성이 기본 Bi-RNN보다 감정, 극성, 자기노출 예측을 개선했고; RoBERTa-base는 일반적으로 턴-수준 작업에서 신경망 베이스라인을 능가했다.
• 인지된 상대방 공감(사람 2)이 Bi-RNN-att로 예측한 값에서 더 예측 가능했으며(0.115) 사람 1은 0.268; RoBERTa-base를 사용한 에세이 기반 공감/고통 예측은 공감 0.560, 고통 0.665(평균 0.612)를 보였다.
• 대화에서 대명사 사용은 간단한 텍스트 특징 중에서 인지된 공감과 가장 강한 상관관계(상관계수 0.468)를 보였다.
• 성별, 연령, 교육은 자기보고 및 턴-수준 공감/고통과 다양한 연관을 보였으며, 이는 인구통계학 및 성격이 공감 표현에 미치는 영향을 시사한다.