[論文レビュー] Experiencers, Stimuli, or Targets: Which Semantic Roles Enable Machine Learning to Infer the Emotions?

Laura Oberländer, Kevin Reich+1 more|arXiv (Cornell University)|Nov 3, 2020

Sentiment Analysis and Opinion Mining参考文献 28被引用数 8

ひとこと要約

本稿は、テキスト内の感情を推論するための機械学習モデルが、どの意味的役割（経験者、刺激、対象）を最も効果的に活用できるかを調査する。役割の埋め込みをマスキングし、5つのデータセットで性能を評価した結果、刺激と対象が感情関連情報の大部分を担っており、経験者はしばしば交絡要因として機能することが判明した。役割の位置情報も分類性能を向上させ、特に文学的テキストにおいて顕著であった。

ABSTRACT

Emotion recognition is predominantly formulated as text classification in which textual units are assigned to an emotion from a predefined inventory (e.g., fear, joy, anger, disgust, sadness, surprise, trust, anticipation). More recently, semantic role labeling approaches have been developed to extract structures from the text to answer questions like: "who is described to feel the emotion?" (experiencer), "what causes this emotion?" (stimulus), and at which entity is it directed?" (target). Though it has been shown that jointly modeling stimulus and emotion category prediction is beneficial for both subtasks, it remains unclear which of these semantic roles enables a classifier to infer the emotion. Is it the experiencer, because the identity of a person is biased towards a particular emotion (X is always happy)? Is it a particular target (everybody loves X) or a stimulus (doing X makes everybody sad)? We answer these questions by training emotion classification models on five available datasets annotated with at least one semantic role by masking the fillers of these roles in the text in a controlled manner and find that across multiple corpora, stimuli and targets carry emotion information, while the experiencer might be considered a confounder. Further, we analyze if informing the model about the position of the role improves the classification decision. Particularly on literature corpora we find that the role information improves the emotion classification.

研究の動機と目的

• テキスト内の感情分類に最も情報を与える意味的役割（経験者、刺激、対象、キュー）を特定すること。
• 感情の原因となる刺激、感情の対象、感情を経験する主体のうち、どの身元が感情カテゴリを最も予測可能であるかを評価すること。
• 意味的役割の位置情報が感情分類の性能を向上させるかどうかを評価すること。
• 異なるテキストドメイン（例：SNS対比文学的テキスト）において役割の重要性が異なるかどうかを調査すること。
• bi-LSTMとトランスフォーマー基盤のアーキテクチャの両方において、役割マスキングと位置情報の有無がモデルの挙動に与える影響を比較すること。

提案手法

• 経験者、刺激、対象、キューの少なくとも1つをアノテートした5つのデータセットで感情分類モデルを学習した。
• 入力テキスト内の各意味的役割の埋め込みを系統的にマスキングし、他の部分はそのままで、役割固有の寄与を分離した。
• 3つの設定でモデル性能を評価した：'そのまま'（完全な入力）、'マスキング無し'（役割がマスキングされた）、'位置'（特別トークンで役割の位置が示された）。
• bi-LSTMとトランスフォーマー基盤の両方のモデルを用いて、アーキテクチャ間での性能差を比較し、役割情報欠損に対するロバストネスを評価した。
• 各データセットの感情カテゴリごとに、標準指標（例：F1スコア）を用いて性能を測定した。
• 各役割を除去した際の性能低下の差を分析し、相対的な情報量を特定した。

実験結果

リサーチクエスチョン

• RQ1 経験者、刺激、対象、キューのうち、どの意味的役割が感情分類に最も情報的な信号を提供するか？
• RQ2 意味的役割の位置情報が感情分類の性能を向上させるか？
• RQ3 意味的役割の寄与は、異なるテキストドメイン（例：SNS 対比 文学的テキスト）で一貫しているか？
• RQ4 モデルアーキテクチャ（bi-LSTM 対比 トランスフォーマー）に応じて、役割の重要性が変化するか？
• RQ5 文脈的に埋め込まれた表現（例：トランスフォーマー内）を用いる場合、役割情報が欠損してもモデルが補填できるか？

主な発見

• 刺激と対象は一貫して重要な感情関連情報を保持しており、特にEmotion-Stimulus（ES）およびElectoralTweets（ET）データセットでこれらの役割がマスキングされると性能が著しく低下した。
• 経験者役割はしばしば交絡要因として機能する：GoodNewsEveryone（GNE）データセットでは、その内容をマスキングすることで性能が向上した。これは、モデルが特定の経験者にバイアスを示している可能性を示唆している。
• 刺激またはキューの位置情報が感情分類性能を向上させた。特にECAおよびESのような長めで文学的なテキストでは、性能向上が顕著に見られた。
• トランスフォーマー基盤のモデルは、すべてのデータセットでbi-LSTMを上回った。特にREMANおよびGNEでは顕著で、文脈表現が役割情報の明示的必要性を軽減していることを示している。
• 'マスキング無し'設定において、ESデータセットでは刺激をマスキングした際の性能低下が最も深刻であり、このコーパスでは刺激が感情推論において極めて重要な役割を果たしていることが浮き彫りになった。
• キュー役割は全体的に影響が小さく、マスキングされた際の性能低下は見られたが、感情推論に寄与しているものの、主な信号ではないことが示された。