[논문 리뷰] Emotion Recognition under Consideration of the Emotion Component Process Model

Felix Casel, Amelie Heindl외 1명|arXiv (Cornell University)|2021. 07. 27.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 논문은 텍스트 내 정서 커뮤니케이션을 위한 새로운 정서 구성요소 프로세스 모델(CPM)-기반 주석 체계를 제안하며, 트위터 및 문학 어휘자료에 적용한다. 다중 작업 학습 프레임워크에 CPM 구성요소를 통합함으로써 정서 분류 성능이 최대 4 F1 포인트 향상됨을 보여주며, 구성요소 수준의 정보가 소셜 미디어와 문학과 같은 다양한 도메인 간 모델 일반화를 향상시킨다는 점을 입증한다.

ABSTRACT

Emotion classification in text is typically performed with neural network models which learn to associate linguistic units with emotions. While this often leads to good predictive performance, it does only help to a limited degree to understand how emotions are communicated in various domains. The emotion component process model (CPM) by Scherer (2005) is an interesting approach to explain emotion communication. It states that emotions are a coordinated process of various subcomponents, in reaction to an event, namely the subjective feeling, the cognitive appraisal, the expression, a physiological bodily reaction, and a motivational action tendency. We hypothesize that these components are associated with linguistic realizations: an emotion can be expressed by describing a physiological bodily reaction ("he was trembling"), or the expression ("she smiled"), etc. We annotate existing literature and Twitter emotion corpora with emotion component classes and find that emotions on Twitter are predominantly expressed by event descriptions or subjective reports of the feeling, while in literature, authors prefer to describe what characters do, and leave the interpretation to the reader. We further include the CPM in a multitask learning model and find that this supports the emotion categorization. The annotated corpora are available at https://www.ims.uni-stuttgart.de/data/emotion.

연구 동기 및 목표

• 스케러의 정서 구성요소 프로세스 모델(CPM)에서 정의한 구성요소(예: 생리적, 표현, 인지적)의 맥락에서 정서가 언어적으로 어떻게 표현되는지 조사하기 위해.
• NLP 연구를 위한 새로운 정서 구성요소 주석 어휘자료인 트위터(TEC) 및 문학(REMAN)를 개발하고 공개하기 위해.
• 정서 구성요소 정보를 정서 분류 모델에 통합함으로써 다중 작업 학습을 통해 성능 향상 여부를 평가하기 위해.
• 도메인(소셜 미디어 대비 문학)과 정서 카테고리 간 정서 구성요소의 분포를 비교하기 위해.
• 기본 정서 카테고리 외의 심리학 이론을 활용해 계산 기반 정서 인식을 향상시키는 것이 가능한지 탐색하기 위해.

제안 방법

• 트위터 정서 어휘자료(Twitter Emotion Corpus, TEC)와 REMAN 문학 어휘자료에서 총 3,041개의 문장에 대해 주관적 감정, 인지 평가, 표현, 생리적 반응, 동기 행동 경향의 다섯 가지 정서 구성요소 클래스를 주석 처리하였다.
• 두 작업 간 매개변수 공유를 가능하게 하여 정서 카테고리와 정서 구성요소를 동시에 예측하는 크로스스티치 다중 작업 학습(MTL) 아키텍처를 적용하였다.
• 황금 표준 구성요소 주석을 사용하여 성능 향상의 상한선을 평가하기 위해 신경망 모델(Emo-Cpm-NN-Gold)을 훈련시켰다.
• 실제 환경에서의 크로스스티치 MTL 설정(MTL-XS)에서 테스트하였으며, 추론 과정에서 황금 표준 구성요소 레이블에 접근할 수 없도록 하였다.
• 기본 모델로 표준 신경망 분류기(BiLSTM)를 사용하고, 다양한 설정(정서 전용, 구성요소 정보 기반, 황금 표준 구성요소 정보 기반) 간 성능을 비교하였다.
• TEC 및 REMAN 데이터셋에서 F1 점수를 사용해 성능을 평가하였으며, 구성요소 정보의 기여도를 분리하기 위해 추이적 분석(ablation studies)을 실시하였다.

실험 결과

연구 질문

• RQ1 소셜 미디어(트위터)와 문학 텍스트에서 정서 구성요소 프로세스 모델(CPM)의 다섯 구성요소(생리적, 표현, 인지, 주관적 감정, 동기 행동 경향)에서 정서가 언어적으로 어떻게 표현되는가?
• RQ2 정서 카테고리(예: 분노, 기쁨, 슬픔)와 도메인(트위터 대비 문학) 간 정서 구성요소의 분포가 어떻게 다를까?
• RQ3 정서 구성요소 예측을 다중 작업 학습 프레임워크에 통합하면 정서 분류 모델의 성능이 향상되는가?
• RQ4 특히 구성요소 수준의 정보가 정서 분류에 기여하는 상대적 기여도는 어떠한가? 특히 이러한 감독 정보가 없는 모델과 비교할 때.
• RQ5 특히 문학에서 암묵적 또는 미묘한 정서 표현을 구분하는 데 구성요소 수준의 정보가 얼마나 기여하는가?

주요 결과

• 트위터에서는 정서가 주로 사건 서술이나 감정에 대한 주관적 보고 방식으로 표현되며, 문학에서는 작가들이 인물의 행동을 묘사하고 독자에게 정서적 해석을 맡기는 경향이 있다.
• 크로스스티치 다중 작업 학습 모델(MTL-XS)은 REMAN 어휘자료에서 0.47 F1 점수를 기록하여 기준 모델보다 4 F1 포인트 향상되었고, TEC 어휘자료에서도 0.61 F1 점수로 동일한 4 F1 포인트 향상 효과를 보였다.
• 황금 표준 구성요소 레이블에 접근한 모델(Emo-Cpm-NN-Gold)은 REMAN에서 0.45 F1, TEC에서 0.62 F1의 점수를 기록하여, 구성요소 정보가 성능 향상에 상당한 기여를 한다는 것을 보여주었다.
• MTL-XS 모델은 두 데이터셋 모두에서 정서 전용 기준 모델을 능가했으며, 공동 학습을 통한 최고의 성능를 기록하여 구성요소 및 정서 예측이 상호 보완적이라고 확인하였다.
• 모든 정서 카테고리에서 구성요소 정보가 성능 향상에 기여했으나, REMAN에서는 놀람, TEC에서는 분노에서 제외되었다. 이는 구성요소의 주목도가 도메인 및 정서 유형에 따라 다름을 시사한다.
• 수동 점검을 통해 CPM 기반 구성요소가 정서 표현의 직관적인 언어 패턴과 일치함을 확인하여, 주석 체계의 해석 가능성과 실용성을 검증하였다.