[논문 리뷰] Experiencers, Stimuli, or Targets: Which Semantic Roles Enable Machine Learning to Infer the Emotions?

Laura Oberländer, Kevin Reich외 1명|arXiv (Cornell University)|2020. 11. 03.

Sentiment Analysis and Opinion Mining참고 문헌 28인용 수 8

한 줄 요약

이 논문은 텍스트 내 감정을 추론하는 데 있어 기계 학습 모델이 어떤 의미 역할—경험자, 자극자, 대상자—를 가장 잘 활용할 수 있는지 조사한다. 역할 충족자를 마스킹하고 다섯 개의 데이터셋에서 성능을 평가함으로써, 저자들은 자극자와 대상자가 감정과 관련된 정보를 가장 많이 담고 있으며, 경험자는 종종 혼란 요소로 작용한다는 것을 발견한다. 역할의 위치 정보는 분류 성능을 더욱 향상시키며, 특히 문학 텍스트에서 두드러진다.

ABSTRACT

Emotion recognition is predominantly formulated as text classification in which textual units are assigned to an emotion from a predefined inventory (e.g., fear, joy, anger, disgust, sadness, surprise, trust, anticipation). More recently, semantic role labeling approaches have been developed to extract structures from the text to answer questions like: "who is described to feel the emotion?" (experiencer), "what causes this emotion?" (stimulus), and at which entity is it directed?" (target). Though it has been shown that jointly modeling stimulus and emotion category prediction is beneficial for both subtasks, it remains unclear which of these semantic roles enables a classifier to infer the emotion. Is it the experiencer, because the identity of a person is biased towards a particular emotion (X is always happy)? Is it a particular target (everybody loves X) or a stimulus (doing X makes everybody sad)? We answer these questions by training emotion classification models on five available datasets annotated with at least one semantic role by masking the fillers of these roles in the text in a controlled manner and find that across multiple corpora, stimuli and targets carry emotion information, while the experiencer might be considered a confounder. Further, we analyze if informing the model about the position of the role improves the classification decision. Particularly on literature corpora we find that the role information improves the emotion classification.

연구 동기 및 목표

• 텍스트 내 감정 분류에 있어 가장 유informative한 신호를 제공하는 의미 역할(경험자, 자극자, 대상자, 자극자 신호)을 특정하는 것.
• 감정의 경험자, 감정의 대상자, 감정을 유발하는 자극자의 신분 중 어느 것이 감정 카테고리에 가장 예측 가능성이 높은지 평가하는 것.
• 의미 역할의 위치 정보가 감정 분류 성능을 향상시키는지 평가하는 것.
• 다양한 텍스트 영역(예: 소셜 미디어 대비 문학) 간에서 역할의 중요성이 어떻게 달라지는지 조사하는 것.
• bi-LSTM 및 트랜스포머 기반 아키텍처 간의 모델 행동을 역할 마스킹 및 위치 신호와 관련하여 비교하는 것.

제안 방법

• 최소한 하나의 의미 역할(경험자, 자극자, 대상자, 자극자 신호)이 주석 처리된 다섯 개의 데이터셋에 대해 감정 분류 모델을 훈련시켰다.
• 입력 텍스트에서 각 의미 역할의 충족자를 체계적으로 마스킹하면서 나머지 부분은 그대로 유지하여 역할별 기여도를 고립시켰다.
• 세 가지 설정에서 모델 성능을 평가했다: '원본' (전체 입력), '제거' (역할 마스킹), '위치' (특수 토큰을 통해 역할 위치 표시).
• bi-LSTM 및 트랜스포머 기반 모델을 모두 사용하여 아키텍처 간 성능를 비교하고, 누락된 역할 정보에 대한 강건성을 평가했다.
• 각 데이터셋의 감정 카테고리에서 표준 지표(예: F1 점수)를 사용해 성능을 측정했다.
• 각 역할을 제거했을 때의 성능 저하 차이를 분석하여 상대적 정보량을 결정했다.

실험 결과

연구 질문

• RQ1 경험자, 자극자, 대상자, 자극자 신호 중 어느 의미 역할이 감정 분류에 가장 유informative한 신호를 제공하는가?
• RQ2 의미 역할의 위치 정보가 감정 분류 성능을 향상시키는가?
• RQ3 의미 역할의 기여도는 다양한 텍스트 영역(예: 소셜 미디어 대비 문학 텍스트) 간에 일관된가?
• RQ4 역할의 중요도는 모델 아키텍처(비-LSTM 대비 트랜스포머)에 따라 달라지는가?
• RQ5 컨텍스트 기반 임베딩(예: 트랜스포머에서의)을 사용할 경우, 모델은 누락된 역할 정보를 보완할 수 있는가?

주요 결과

• 자극자와 대상자는 일관되게 중요한 감정 정보를 담고 있으며, 특히 Emotion-Stimulus(ES) 및 ElectoralTweets(ET) 데이터셋에서 이러한 역할이 마스킹될 경우 성능 저하가 심각하게 발생한다.
• 경험자 역할은 종종 혼란 요소로 작용한다: GoodNewsEveryone(GNE) 데이터셋에서 경험자 내용을 마스킹했을 때 성능이 향상된 것으로 보아, 모델이 특정 경험자에 편향되어 있음을 시사한다.
• 자극자 또는 자극자 신호의 위치 정보는 감정 분류 성능을 향상시켰으며, 특히 ECA 및 ES와 같은 긴 문학 텍스트에서 성능 향상이 두드러졌다.
• 모든 데이터셋에서 트랜스포머 기반 모델이 bi-LSTM을 앞서며, 특히 REMAN 및 GNE에서 두드러진 성능 향상을 보여, 컨텍스트 기반 표현이 명시적 역할 정보의 필요성을 감소시킨다는 것을 시사한다.
• '제거' 설정에서 ES 데이터셋에서 자극자 마스킹 시 성능 저하가 가장 심각했으며, 이는 해당 코퍼스에서 자극자가 감정 추론에 핵심적인 역할을 한다는 것을 강조한다.
• 자극자 신호 역할은 전반적으로 영향력이 낮았지만, 마스킹 시 성능 저하가 발생함으로써 감정 추론에 기여하지만 주요 신호는 아니라는 점을 시사한다.