[論文レビュー] EmoBank: Studying the Impact of Annotation Perspective and Representation Format on Dimensional Emotion Analysis

Sven Buechel, Udo Hahn|arXiv (Cornell University)|May 4, 2022

Sentiment Analysis and Opinion Mining被引用数 9

ひとこと要約

EmoBank は、10,000 文の英語コーパスであり、作家の意図と読者の予想される感情反応の両方の視点から、Valence-Arousal-Dominance（VAD）感情次元がアノテートされた大規模かつジャンルに配分されたもので、その一部はエクマンの基本的感情に対してもアノテートされている。読者の視点が、より高いアノテータ間一致度と強度を示し、次元的・カテゴリー的 emotion 形式間のマッピングにおいてほぼ人間水準のパフォーマンスを達成していることが示された。

ABSTRACT

We describe EmoBank, a corpus of 10k English sentences balancing multiple genres, which we annotated with dimensional emotion metadata in the Valence-Arousal-Dominance (VAD) representation format. EmoBank excels with a bi-perspectival and bi-representational design. On the one hand, we distinguish between writer's and reader's emotions, on the other hand, a subset of the corpus complements dimensional VAD annotations with categorical ones based on Basic Emotions. We find evidence for the supremacy of the reader's perspective in terms of IAA and rating intensity, and achieve close-to-human performance when mapping between dimensional and categorical formats.

研究の動機と目的

• 作家と読者の感情的視点を区別することができる、大規模かつ心理学的根拠に基づいた感情コーパスの不足に対処すること。
• 次元的（VAD）とカテゴリー的（基本的感情）の両方の感情表現形式をサポートするリソースを提供し、フォーマット間の統合的モデリングを促進すること。
• アノテーションの視点（作家対読者）と表現形式（次元的対カテゴリー的）が、アノテーション品質および感情モデリングパフォーマンスに与える影響を調査すること。
• 自然言語処理および計算言語学分野における微細な感情的言語分析を前進させるための標準的で自由に利用可能なコーパスを提供すること。

提案手法

• 新聞、ソーシャルメディア、文学など多様なジャンルから成る 10,000 文の英語文の収集により、ジャンルのバランスを確保し、広範なカバーを実現すること。
• 各文について、作家の意図する感情と読者の予想される感情反応という、二つの異なる視点から三つの次元（Valence, Arousal, Dominance）の VAD スコアをアノテートすること。
• 2,000 文のサブセットは、エクマンの6つの基本的感情（例：怒り、恐怖、喜び）に対してもアノテートされ、フォーマット間マッピングが可能になった。
• VAD アノテーションの標準化と心理学的妥当性を確保するため、Self-Assessment Manikin（SAM）を用いる。
• 作家と読者の視点間のアノテータ間一致度（IAA）を比較するための IAA 分析を実施すること。
• VAD とカテゴリー的感情表現の間のマッピングを可能にするモデルを訓練し、人間水準のベンチマークと比較してパフォーマンスを評価すること。

実験結果

リサーチクエスチョン

• RQ1 アノテーションの視点（作家対読者）の選択が、VAD アノテーションにおけるアノテータ間一致度（IAA）とスコア強度に与える影響は何か？
• RQ2 アノテートされたデータを用いて、次元的（VAD）とカテゴリー的（基本的感情）の感情表現をどれだけ信頼性高く相互にマッピングできるか？
• RQ3 コーパスに作家と読者の両方の視点を含めることで、感情アノテーションの品質と心理学的妥当性が向上するか？
• RQ4 コーパスのジャンルバランスが、異なる感情次元におけるアノテーションの分布と信頼性に与える影響は何か？
• RQ5 EmoBank で訓練されたモデルは、VAD とカテゴリー的感情システム間のフォーマット間マッピングにおいて、ほぼ人間水準のパフォーマンスを達成できるか？

主な発見

• 読者の視点は、作家の視点よりも一貫して高いアノテータ間一致度（IAA）を示し、アノテーションの信頼性が高まっていることが示された。
• 読者ベースのアノテーションは、作家ベースのアノテーションと比較して、すべての3つのVAD次元において顕著に高い感情の強度を示した。
• このコーパスは、VADとカテゴリー的 emotion 形式間のマッピングにおいてほぼ人間水準のパフォーマンスを達成しており、両表現形式の間の強い適合性を示している。
• 二重視点設計により、感情の表現と受容の間の体系的な差異が明らかになり、感情計算分野における二重視点アノテーションの必要性を裏付けた。
• VAD とカテゴリー的 emotion アノテーションを1つのコーパスに統合することで、感情表現の転送と整合性の強固な評価が可能になった。
• EmoBank のジャンルに配分された設計により、感情分析研究におけるさまざまなテキストタイプと言語的文脈への広範な適用性が保証された。