[논문 리뷰] Learning Word Ratings for Empathy and Distress from Document-Level User Responses

João Sedoc, Sven Buechel외 3명|arXiv (Cornell University)|2019. 12. 02.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 혼합 수준 전방향 신경망(MLFFN)을 사용하여 문서 수준 사용자 반응에서 단어 등급을 학습함으로써, NLP 및 심리학 분야에서 처음으로 공개 가능한 공감과 고통에 대한 어휘를 제안한다. 이 방법은 훈련된 신경망을 뒤집어 단어 수준의 공감 및 고통 점수를 유도함으로써 해석 가능하고 강건하며 공개 가능한 어휘를 가능하게 한다.

ABSTRACT

Despite the excellent performance of black box approaches to modeling sentiment and emotion, lexica (sets of informative words and associated weights) that characterize different emotions are indispensable to the NLP community because they allow for interpretable and robust predictions. Emotion analysis of text is increasing in popularity in NLP; however, manually creating lexica for psychological constructs such as empathy has proven difficult. This paper automatically creates empathy word ratings from document-level ratings. The underlying problem of learning word ratings from higher-level supervision has to date only been addressed in an ad hoc fashion and has not used deep learning methods. We systematically compare a number of approaches to learning word ratings from higher-level supervision against a Mixed-Level Feed Forward Network (MLFFN), which we find performs best, and use the MLFFN to create the first-ever empathy lexicon. We then use Signed Spectral Clustering to gain insights into the resulting words. The empathy and distress lexica are publicly available at: http://www.wwbp.org/lexica.html.

연구 동기 및 목표

• NLP 분야에서 공감과 고통에 대한 해석 가능하고 강건한 어휘의 부족을 해결하고자 한다. 이는 이러한 개념에 대한 관심이 증가하고 있음에도 불구하고 여전히 문제로 남아 있다.
• 공감과 자기 중심적 고통 간의 모호성으로 인해 수동적으로 공감 어휘를 코딩하는 데 어려움이 있음을 해결하고자 한다.
• 딥 러닝을 활용하여 고수준(문서 수준)의 감독 신호에서 단어 수준의 평가를 체계적으로 학습하는 방법을 개발하고자 한다.
• 새로운 신경망 역전 방식을 사용하여, 공개 가능한 첫 번째 공감 및 고통 어휘를 생성하고자 한다.
• 서명된 스펙트럴 클러스터링을 사용하여 학습된 어휘를 분석함으로써 공감 언어의 의미적 패턴을 밝혀내고자 한다.

제안 방법

• 단어 수준의 특징에서 문서 수준의 공감 및 고통 평가를 예측하기 위해 혼합 수준 전방향 신경망(MLFFN)을 훈련한다.
• 훈련된 MLFFN 모델을 뒤집어, 문서 수준의 출력에서 단어 수준의 입력으로 역전파함으로써 단어 수준의 평가를 유도한다.
• Empathic Reactions 데이터셋을 사용하여 문서 수준의 공감 및 고통 점수에 대해 지도 학습 설정을 적용하여 모델을 훈련한다.
• 학습된 단어 평가에 서명된 스펙트럴 클러스터링을 적용하여 고공감/저공감 및 고고통/저고통 단어의 의미적 군집을 식별한다.
• 클러스터를 수동으로 레이블링하여 어휘 내 명시적 실체(예: 사람, 조직)의 비율을 추정한다.
• 선형 모델과 오토에코더를 포함한 다른 기준 방법들과의 비교를 통해 MLFFN의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 문서 수준의 사용자 반응에서 단어 수준의 공감 및 고통 평가를 효과적으로 학습할 수 있는가?
• RQ2 기존의 특수 목적 또는 딥 러닝 기반 방법들과 비교할 때, MLFFN 모델은 고수준 감독 신호에서 단어 평가를 학습하는 데 어떻게 성능을 내는가?
• RQ3 학습된 공감 및 고통 점수를 기반으로 단어를 클러스터링했을 때 어떤 의미적 패턴이 드러나는가?
• RQ4 결과로 도출된 공감 및 고통 어휘에 얼마나 많은 명시적 실체(예: 사람, 조직)가 포함되어 있는가?
• RQ5 심리학적 및 NLP 적용 분야에서 결과로 도출된 어휘는 얼마나 해석 가능하고 강건한가?

주요 결과

• MLFFN 모델은 선형 모델과 오토에코더를 포함한 다른 방법들보다 문서 수준 감독에서 단어 수준의 공감 및 고통 평가를 학습하는 데서 유의미하게 뛰어난 성능을 보였다.
• 결과로 도출된 공감 및 고통 어휘는 NLP 및 심리학 연구를 위해 http://www.wwbp.org/lexica.html 에서 공개 가능하다.
• 서명된 스펙트럴 클러스터링은 의미적으로 유의미한 군집을 드러내었으며, 예를 들어 공감적 우려(예: 공감 어린, 온전한)와 개인적 고통(예: 불안한, 압도당한)을 연관 짓는 단어 군집이 포함되어 있다.
• 어휘의 약 6퍼센트가 명시적 실체이며, 그 중 조직과 사람이 가장 흔한 유형으로 나타나, 공감 관련 언어가 종종 특정 개인이나 집단을 포함하고 있음을 시사한다.
• 이 방법은 신경망을 효과적으로 뒤집어 신뢰할 수 있는 단어 평가를 도출함으로써, 딥 러닝이 해석 가능하고 도메인 특화된 어휘를 생성하는 데 사용될 수 있음을 입증한다.
• 이 연구는 단어 수준의 평가가 모델의 해석 가능성 향상에 유용하며, 향후 SHAP와 같은 설명 가능성 도구와의 통합을 지원함을 검증한다.