[논문 리뷰] x-enVENT: A Corpus of Event Descriptions with Experiencer-specific Emotion and Appraisal Annotations

Enrica Troiano, Laura Oberländer외 2명|arXiv (Cornell University)|2022. 03. 21.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 720개의 자가 보고된 사건 기술을 포함하는 다국어 영문 코퍼스인 x-enVent을 소개한다. 이 코퍼스는 경험자별 감정과 평가 차원(예: 책임감, 기쁨 등)으로 레이블링되어 있으며, 감정 분류, 역할 레이블링, 평가 이론을 통합하여 각 경험자와 그들의 감정 및 사건 평가를 연결한다. 분석 결과 감정과 평가가 참가자 간에 상당한 차이를 보이며, 다중 에이전트 상황에서 보다 세밀한 감정 분석이 가능하다는 점을 밝혀낸다.

ABSTRACT

Emotion classification is often formulated as the task to categorize texts into a predefined set of emotion classes. So far, this task has been the recognition of the emotion of writers and readers, as well as that of entities mentioned in the text. We argue that a classification setup for emotion analysis should be performed in an integrated manner, including the different semantic roles that participate in an emotion episode. Based on appraisal theories in psychology, which treat emotions as reactions to events, we compile an English corpus of written event descriptions. The descriptions depict emotion-eliciting circumstances, and they contain mentions of people who responded emotionally. We annotate all experiencers, including the original author, with the emotions they likely felt. In addition, we link them to the event they found salient (which can be different for different experiencers in a text) by annotating event properties, or appraisals (e.g., the perceived event undesirability, the uncertainty of its outcome). Our analysis reveals patterns in the co-occurrence of people's emotions in interaction. Hence, this richly-annotated resource provides useful data to study emotions and event evaluations from the perspective of different roles, and it enables the development of experiencer-specific emotion and appraisal classification systems.

연구 동기 및 목표

• 기존 감정 분석 시스템이 감정 분류를 다양한 의미적 역할를 고려하지 않는 단일 작업으로 간주하는 한계를 해결하기 위해.
• 작성자 외에도 사건에 관여한 제3자와 같은 텍스트 내 다른 경험자들로부터의 감정을 포괄하는 풍부하게 레이블링된 코퍼스를 개발하기 위해.
• 각 경험자-사건 쌍에 대해 인지 평가(예: 책임감, 기쁨 등)를 레이블링하여 평가 이론을 텍스트 기반 감정 분석에 통합하기 위해.
• 감정과 평가 분류 모델을 경험자 중심으로 개발하여 감정 사건의 다중 에이전트 성격을 반영하기 위해.
• 한 번의 사건 기술에 포함된 여러 참가자 간 감정과 평가의 상호작용 패턴을 연구하기 위해.

제안 방법

• 실제 사건에 감정 반응을 보인 개인으로부터 720개의 자가 보고된 사건 기술을 수집한다.
• 각 텍스트에 대해 사건(자극), 경험자(감정 주체), 감정(구체적인 레이블, 예: 죄책감, 슬픔, 분노)에 대한 스팬 수준 레이블을 부여한다.
• 각 경험자-사건 쌍에 대해 평가 차원(예: 기쁨, 책임감, 불확실성 등)을 수치 벡터로 레이블링하여 평가 이론을 적용한다.
• 각 경험자와 그들이 반응한 사건 간의 관계를 설정하여 구조화된 튜플 ⟨사건, 경험자, 감정, 평가 벡터⟩를 형성한다.
• 전문가 간 일致도 측정치(예: Fleiss의 카파)를 사용하여 레이블링의 품질과 일관성을 확보한다.
• 통계적 및 상관 분석(예: 스피어만의 rho)을 수행하여 다양한 경험자 간 감정 동시 발생 및 평가 유사성의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 동일한 사건 기술 내에서 다양한 경험자 간 감정은 어떻게 달라지며, 동시 발생 패턴은 어떻게 드러나는가?
• RQ2 다인용 감정 사건에서 작성자와 다른 경험자 간 평가 차원(예: 책임감, 기쁨 등)은 어느 정도 상관되는가?
• RQ3 경험자 중심의 감정 및 평가 레이블링이 작성자 중심 접근에 비해 감정 분류 모델의 성능 향상에 기여하는가?
• RQ4 다양한 역할(예: 작성자에서 죄책감, 동료에서 슬픔 등) 간 감정 조합 중 가장 빈도가 높은 조합은 무엇인가?
• RQ5 작성자와 다른 경험자 간의 평가 프로파일은 어떻게 다름을 보이며, 이러한 차이는 감정적 관점 전환의 특성을 어떻게 드러내는가?

주요 결과

• 기쁨 감정은 경험자 간 자주 공유되며, 높은 동시 발생 비율(예: 죄책감과 슬픔 간 0.32)을 보이며, 일부 상황에서는 공통된 감정 반응이 있음을 시사한다.
• 작성자의 감정인 죄책감과 기쁨은 제3자에서 자주 다른 감정과 함께 나타나며, 죄책감은 20%의 경우 분노와, 32%의 경우 슬픔과 동시 발생한다.
• 작성자의 수치감은 다른 경험자에서의 분노와 강하게 연관되어 있으며(20% 동시 발생), 이는 상호작용적 사건에서 감정의 악화 가능성을 시사한다.
• 다양한 경험자 간 평가 차원 간 유의미한 상관관계가 존재한다: 내부 점검 대 외부 점검(ρ = 0.68), 기대 불일치 대 외부 점검(ρ = 0.45).
• 평가 차원 간 음성 상관관계도 존재한다: 내부 점검과 기쁨(ρ = -0.31), 결과 확률과 긴급성(ρ = -0.28), 이는 인지 평가가 상이하게 이루어짐을 나타낸다.
• 작성자의 비감정적 반응은 다른 경험자들의 감정에 균일하게 분포하지 않으며, 이는 동일한 사건이 동일한 감정 반응을 대칭적으로 유도하지 않음을 시사한다.