[論文レビュー] x-enVENT: A Corpus of Event Descriptions with Experiencer-specific Emotion and Appraisal Annotations

Enrica Troiano, Laura Oberländer+2 more|arXiv (Cornell University)|Mar 21, 2022

Sentiment Analysis and Opinion Mining被引用数 7

ひとこと要約

本稿では、720件の自己報告済みイベント記述から成る多言語対応の英語コーパス、x-enVentを紹介する。このコーパスは、経験者固有の感情および評価次元（例：責任、快適さ）を付与してアノテートされている。感情分類、役割ラベル付け、評価理論を統合し、各経験者に対して感情およびイベント評価を関連付けることで、経験者間で感情および評価が顕著に異なることが明らかになった。これにより、複数エージェントが関与する文脈におけるより洗練された感情分析が可能になる。

ABSTRACT

Emotion classification is often formulated as the task to categorize texts into a predefined set of emotion classes. So far, this task has been the recognition of the emotion of writers and readers, as well as that of entities mentioned in the text. We argue that a classification setup for emotion analysis should be performed in an integrated manner, including the different semantic roles that participate in an emotion episode. Based on appraisal theories in psychology, which treat emotions as reactions to events, we compile an English corpus of written event descriptions. The descriptions depict emotion-eliciting circumstances, and they contain mentions of people who responded emotionally. We annotate all experiencers, including the original author, with the emotions they likely felt. In addition, we link them to the event they found salient (which can be different for different experiencers in a text) by annotating event properties, or appraisals (e.g., the perceived event undesirability, the uncertainty of its outcome). Our analysis reveals patterns in the co-occurrence of people's emotions in interaction. Hence, this richly-annotated resource provides useful data to study emotions and event evaluations from the perspective of different roles, and it enables the development of experiencer-specific emotion and appraisal classification systems.

研究の動機と目的

• 感情分類を単一のタスクとして扱う既存の感情分析システムの限界、すなわち異なる意味的役割を考慮しないことへの対処。
• 著者だけでなく、イベントに参加する第三者など、文中の他の経験者からの感情も捉える、豊富にアノテートされたコーパスの開発。
• 各経験者-イベントペアに対して認知的評価（例：責任、快適さ）をアノテートすることで、テキストベースの感情分析に評価理論を統合すること。
• 感情的出来事の複数エージェント性を反映した、経験者固有の感情および評価分類モデルの開発を可能にすること。
• 1つのイベント記述に登場する複数の参加者間における感情および評価の相互作用パターンの解明。

提案手法

• 他人と関係する現実の出来事に対して感情反応を示した個人から、720件の自己報告済みイベント記述を収集する。
• 各テキストに対して、イベント（刺激要因）、経験者（感情的主体）、感情（離散的ラベル、例：罪悪感、悲しみ、怒り）のスパンレベルラベルをアノテートする。
• 各経験者-イベントペアに対して、評価次元（例：快適さ、責任、不確実性）を表す数値ベクトルを評価理論に基づいてアノテートする。
• 各経験者とその反応したイベントとの関係を確立し、構造化されたタプルとして表現する：⟨イベント, 経験者, 感情, 評価ベクトル⟩。
• 複数のアノテーター間整合性を確保するため、Fleiss’ kappa などの測定値を用いてアノテーション品質と一貫性を検証する。
• 統計的および相関分析（例：Spearman’s rho）を実施し、異なる経験者間における感情の共起性および評価の類似性を比較する。

実験結果

リサーチクエスチョン

• RQ1 同じイベント記述において、異なる経験者間で感情はどのように変化するのか。また、共起性にどのようなパターンが見られるか。
• RQ2 複数人で構成される感情的出来事において、著者と他の経験者との間で評価次元（例：責任、快適さ）がどの程度相関しているか。
• RQ3 経験者固有の感情および評価アノテーションは、著者中心のアプローチに比べて感情分類モデルの性能向上に寄与するか。
• RQ4 どの感情の組み合わせが、著者や同僚など、異なる役割において最も頻出するか（例：著者に罪悪感、同僚に悲しみの併存）。
• RQ5 著者と他の経験者との間で評価プロファイルはどのように異なるのか。また、その差異は感情的視点の取り換え（perspective-taking）をどのように示唆するか。

主な発見

• 喜びの感情は経験者間で頻繁に共有されており、共起率が高く（例：罪悪感と悲しみの間で0.32）、一部の文脈では共通の感情反応が見られる。
• 著者の感情（罪悪感、喜び）は、第三者の他の感情と併発する傾向がある。罪悪感は20％のケースで怒りと、32％のケースで悲しみと共起する。
• 著者の恥の感情は、他の経験者に怒りを引き起こす傾向が強く（20％の共起率）、対人関係的な出来事における感情の悪化（エスカレーション）を示唆している。
• 評価次元同士に顕著な相関が認められる。内部的チェック vs. 外部的チェック（ρ = 0.68）、期待の不一致 vs. 外部的チェック（ρ = 0.45）。
• 評価次元間に負の相関が認められる例も存在する。内部的チェック vs. 快適さ（ρ = -0.31）、結果の確実性 vs. 急迫性（ρ = -0.28）、これにより認知的評価が分かれていることが示唆される。
• 著者の非感情的反応は、他の経験者の感情に均等に分布しない。これは、同じ出来事によって引き起こされる感情反応が対称的ではないことを示している。