[논문 리뷰] PVG at WASSA 2021: A Multi-Input, Multi-Task, Transformer-Based Architecture for Empathy and Distress Prediction

Atharva Kulkarni, Sunanda Somwase외 2명|arXiv (Cornell University)|2021. 03. 04.

Mental Health via Writing참고 문헌 27인용 수 5

한 줄 요약

이 논문은 텍스트, 인구통계학적 정보, 심리적 검사 점수 및 어휘적 특징을 통합하여 뉴스 기사에서 공감과 고통 점수를 예측하는 다중 입력, 다중 작업, 트랜스포머 기반 모델을 제안한다. 기본 감정 분류와 공감/고통 회귀를 함께 학습함으로써, 이 모델은 최신 기술 수준의 성능을 달성하여 WASSA 2021 공동 과제에서 평균 상관관계(0.545)와 고통 상관관계(0.574)에서 1위, 공감 상관관계(0.517)에서 2위를 기록하였다.

ABSTRACT

Active research pertaining to the affective phenomenon of empathy and distress is invaluable for improving human-machine interaction. Predicting intensities of such complex emotions from textual data is difficult, as these constructs are deeply rooted in the psychological theory. Consequently, for better prediction, it becomes imperative to take into account ancillary factors such as the psychological test scores, demographic features, underlying latent primitive emotions, along with the text's undertone and its psychological complexity. This paper proffers team PVG's solution to the WASSA 2021 Shared Task on Predicting Empathy and Emotion in Reaction to News Stories. Leveraging the textual data, demographic features, psychological test score, and the intrinsic interdependencies of primitive emotions and empathy, we propose a multi-input, multi-task framework for the task of empathy score prediction. Here, the empathy score prediction is considered the primary task, while emotion and empathy classification are considered secondary auxiliary tasks. For the distress score prediction task, the system is further boosted by the addition of lexical features. Our submission ranked 1$^{st}$ based on the average correlation (0.545) as well as the distress correlation (0.574), and 2$^{nd}$ for the empathy Pearson correlation (0.517).

연구 동기 및 목표

• 뉴스 기사에 대한 반응으로 복잡한 정서 상태인 공감과 고통을 다중모달 및 심리적 특징을 활용하여 예측하는 것을 향상시키기.
• 기본 감정과 공감/고통 간의 상호의존성을 모델링하면 회귀 성능 향상에 기여하는지 조사하기.
• NRC 및 Empath 어휘 사전의 어휘적 특징이 공감과 고통 예측에 미치는 영향 평가하기.
• 110,000개 미만의 학습 가능한 파라미터를 가진 경량이고 효율적인 딥 러닝 아키텍처 개발하기.
• WASSA 2021 공동 과제 기준 공감 및 고통 예측에서 높은 성능 달성하기.

제안 방법

• 다중 입력 아키텍처는 RoBERTa를 통해 텍스트 입력을 처리하고, 카디널리티(예: 성별) 및 수치형(예: 심리적 검사 점수) 특징을 함께 처리하여 통합된 표현을 생성한다.
• 다중 작업 학습 프레임워크는 세 가지 작업을 동시에 수행한다: (1) 기본 감정 분류(6개 카테고리), (2) 높은 공감/고통 이진 분류, (3) Batson의 공감 공감 점수 및 개인적 고통 점수의 회귀.
• 공유된 트랜스포머 인코더와 작업별 전용 헤드를 사용하여 파라미터 공유 및 작업 간 지식 전이 가능하게 한다.
• NRC 감정 강도 어휘 사전, NRC 정서 강도/각성/지배력 어휘 사전, 그리고 Empath의 어휘적 특징을 RoBERTa 임베딩과 결합하여 입력 표현을 풍부하게 한다.
• 고정된 초기 학습률 1×10⁻³을 사용한 Adam 옵timizer로 엔드 투 엔드 학습을 수행하며, 조기 정지와 학습률 감소를 적용하고, RoBERTa 레이어의 가중치를 동결한다.
• 과적합 방지를 위해 L2 정규화와 드롭아웃(0.2)을 적용하고, 검증 손실 기반으로 최고의 모델을 선택한다.

실험 결과

연구 질문

• RQ1 인구통계학적 및 심리적 검사 점수를 통합하면 텍스트 콘텐츠의 공감과 고통 예측 성능 향상에 기여하는가?
• RQ2 기본 감정을 보조 작업으로 모델링하면 공감과 고통 회귀 성능 향상에 기여하는가?
• RQ3 NRC 및 Empath 어휘 사전의 어휘적 특징은 공감 예측과 고통 예측에 각각 어떤 영향을 미치는가?
• RQ4 다중 입력, 다중 작업 트랜스포머 아키텍처는 단일 작업 또는 단일 입력 모델보다 정서 상태 회귀에 더 효과적인가?
• RQ5 어휘적 특징 추가가 왜 공감 예측 성능을 떨어뜨리지만 고통 예측 성능은 향상시키는가?

주요 결과

• 다중 입력, 다중 작업 트랜스포머 모델은 공감 예측에서 피어슨 상관계수 0.517을 기록하여 WASSA 2021 테스트 세트에서 2위를 달성하였다.
• 모델은 고통 상관계수 0.574를 기록하여 공동 과제에서 1위를 차지하였고, 평균 상관계수 0.545 역시 1위를 기록하였다.
• 인구통계학적 및 심리적 특징을 통합함으로써 순수 RoBERTa 기반 모델 대비 성능 향상을 확인하여 이들의 예측가치를 입증하였다.
• 다중 작업 학습 설정이 성능 향상에 상당한 기여를 하여, 기본 감정과 복잡한 정서 상태 간의 공유된 표현의 가치를 입증하였다.
• NRC + Empath 어휘 특징을 추가하면 고통 예측 성능은 향상(0.53 vs. 0.49)되었지만 공감 상관계수는 감소(0.64 vs. 0.74)하여, 공감 관련 어휘 특징에 잡음 또는 편향이 존재할 가능성을 시사하였다.
• 110,000개 미만의 학습 가능한 파라미터를 가진 모델이 강력한 성능을 달성하여, 파rameter 제약 속에서도 효율성과 일반화 능력을 입증하였다.