[논문 리뷰] A Computational Approach to Understanding Empathy Expressed in Text-Based Mental Health Support

Ashish Sharma, Adam S. Miner외 2명|arXiv (Cornell University)|2020. 09. 17.

Digital Mental Health Interventions인용 수 7

한 줄 요약

이 논문은 정서 반응, 해석, 탐색이라는 공감 메커니즘으로 주석 처리된 10,000건의 샘플을 포함하는 새로운 데이터셋을 사용하여 텍스트 기반 정신건강 상담에서 공감을 식별하는 계산적 프레임워크인 Epitome을 소개한다. 다중 작업 RoBERTa 기반 이중 인코더 모델은 공감 응답을 식별하고 추론 근거를 추출하며, 80%의 정확도와 70%의 매크로-F1을 기록한다. 실제 상호작용 235,000건을 분석한 결과, 동료 지원자들은 시간이 지남에 따라 공감 능력을 자가 향상시키지 못함을 확인하였으며, 이는 NLP 기반 피드백 도구의 필요성을 강조한다.

ABSTRACT

Empathy is critical to successful mental health support. Empathy measurement has predominantly occurred in synchronous, face-to-face settings, and may not translate to asynchronous, text-based contexts. Because millions of people use text-based platforms for mental health support, understanding empathy in these contexts is crucial. In this work, we present a computational approach to understanding how empathy is expressed in online mental health platforms. We develop a novel unifying theoretically-grounded framework for characterizing the communication of empathy in text-based conversations. We collect and share a corpus of 10k (post, response) pairs annotated using this empathy framework with supporting evidence for annotations (rationales). We develop a multi-task RoBERTa-based bi-encoder model for identifying empathy in conversations and extracting rationales underlying its predictions. Experiments demonstrate that our approach can effectively identify empathic conversations. We further apply this model to analyze 235k mental health interactions and show that users do not self-learn empathy over time, revealing opportunities for empathy training and feedback.

연구 동기 및 목표

• 비동기적, 텍스트 기반 정신건강 상담에서 공감을 이론적으로 기반을 두고 계산적으로 활용 가능한 프레임워크를 개발하는 것.
• 공감 메커니즘과 지원 근거를 주석 처리한 고품질 10,000건의 (게시글, 응답) 쌍 데이터셋을 수집 및 공개하는 것.
• 공감 메커니즘을 식별하고 모델 결정의 해석 가능성을 보장하는 해석 가능한 근거 구간을 추출하는 다중 작업 RoBERTa 기반 이중 인코더 모델을 구축하는 것.
• 실세계 정신건강 상호작용에서 공감 탐지 및 근거 추출 성능을 평가하는 것.
• 동료 지원 플랫폼에서 공감 표현 패턴과 사용자 참여도 및 관계 형성에 미치는 영향을 조사하는 것.

제안 방법

• 공감 의사소통을 위한 세 구성 요소 프레임워크인 정서 반응, 해석(인지적 이해), 탐색(깊은 통찰을 위한 탐색)을 제안한다.
• 높은 훈련 수준을 가진 커뮤니티 워커들이 높은 상호 평가 신뢰도를 보이며 TalkLife에서 10,000개의 (게시글, 응답) 쌍을 수집한다.
• 입력 텍스트에서 공감 메커니즘을 동시에 예측하고 지원 근거 구간을 추출하는 다중 작업 RoBERTa 기반 이중 인코더 모델을 개발한다.
• 공감 분류 및 구간 추출에 대한 지도 신호를 사용하여 모델의 해석 가능성과 피드백 생성 능력을 향상시킨다.
• 실세계 235,000건의 정신건강 상호작용 데이터셋에 모델을 적용하여 공감 추세와 사용자 결과를 분석한다.
• 모델이 생성한 통찰을 활용한 개념 증명 피드백 간섭을 수행하여 동료 지원자 응답의 공감 수준을 향상시킨다.

실험 결과

연구 질문

• RQ1 텍스트 기반 비동기 정신건강 상담에서 공감을 체계적이고 계산적으로 어떻게 특성화할 수 있는가?
• RQ2 온라인 플랫폼에서 동료 지원자들이 얼마나 공감을 표현하는가? 이는 시간이 지남에 따라 향상되는가?
• RQ3 정서 반응, 해석, 탐색 중 어느 공감 메커니즘이 사용자 피드백과 관계 형성과 가장 강하게 연관되어 있는가?
• RQ4 NLP 기반 피드백 도구는 동료 지원 응답의 공감 수준을 효과적으로 향상시킬 수 있는가?
• RQ5 성별 역학은 온라인 정신건강 상호작용에서 공감의 표현과 수용에 어떻게 영향을 미치는가?

주요 결과

• 제안된 모델은 공감 대화 식별에서 80%의 정확도와 70%의 매크로-F1을 기록하며, 매크로-F1에서 기준 모델보다 4%포인트 높은 성능을 보였다.
• 공감을 효과적으로 표현한 경우 사용자 좋아요가 45% 더 많고, 응답 수가 47% 더 많아지며, 참여도와 인지된 지원 품질이 높아짐을 시사한다.
• 공감 대화는 24시간 이내에 구독자가 동료 지원자를 팔로우하는 데 79% 높은 가능성을 제공함으로써 관계 형성 가능성을 증가시킨다.
• 여성 동료 지원자들은 같은 성별의 구독자에게 응답할 때 남성 지원자들보다 32% 더 공감 능력이 뛰어나며, 이는 공감 표현의 성별적 패턴을 드러낸다.
• 대부분의 동료 지원자들은 시간이 지남에 따라 공감 능력을 자가 학습하지 못함을 확인하였으며, 이는 자동화된 피드백 및 훈련 시스템의 필수성을 강조한다.
• 모델 통찰을 활용한 개념 증명 피드백 간섭은 3명의 참가자에서 공감 점수를 0.8에서 3.0으로 상승시켜 NLP 기반 훈련의 가능성을 입증하였다.