[論文レビュー] GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception

Laura Ana Maria Bostan, Evgeny Kim+1 more|arXiv (Cornell University)|Dec 6, 2019

Sentiment Analysis and Opinion Mining参考文献 57被引用数 40

ひとこと要約

本論文は GoodNewsEveryone を紹介する。感情クラス、強度、意味役割（経験者、手掛かり、原因、対象）、および読者の知覚が注釈された5000件の見出し英語コーパスであり、2段階のクラウドソーシング注釈プロセスと基準となる役割予測結果を提供する。

ABSTRACT

Most research on emotion analysis from text focuses on the task of emotion classification or emotion intensity regression. Fewer works address emotions as a phenomenon to be tackled with structured learning, which can be explained by the lack of relevant datasets. We fill this gap by releasing a dataset of 5000 English news headlines annotated via crowdsourcing with their associated emotions, the corresponding emotion experiencers and textual cues, related emotion causes and targets, as well as the reader's perception of the emotion of the headline. This annotation task is comparably challenging, given the large number of classes and roles to be identified. We therefore propose a multiphase annotation procedure in which we first find relevant instances with emotional content and then annotate the more fine-grained aspects. Finally, we develop a baseline for the task of automatic prediction of semantic role structures and discuss the results. The corpus we release enables further research on emotion classification, emotion intensity prediction, emotion cause detection, and supports further qualitative studies.

研究の動機と目的

• 見出しで誰が何を感じ、なぜ、誰に向かっているのかを含め、単純な分類を超えたテキストの感情を研究する資源を作成する。
• 読者が認識する感情とその強度を捉え、視聴者の解釈の差を分析する。
• 見出しの感情フレームに整合する意味役割（経験者、手掛かり、原因、対象）を注釈する。
• 高品質データのためのクラウドソーシングのガイドライン、2段階の注釈、および裁定手続きを提供する。
• 見出しの自動意味役割構造予測の基礎モデル結果を提供する。

提案手法

• RSS 経由で 82 の情報源から見出しを収集し、感情的に重要な項目を抽出するためにツイート、返信、Reddit などのソーシャルメディア文脈を補足する。
• ランダム、NRC感情語彙辞書、固有表現、ソーシャルメディア影響サンプリングを用いて見出しをフィルタリング・階層化し、9,932 件の候補を得た。
• 2段階のクラウドソーシング：フェーズ1 は支配的な感情と読者の引き金となる可能性を選択する; フェーズ2 は感情クラス、強度、読者感情、および経験者、原因、対象などのオープンエンドな役割を5人の注釈者で注釈する。
• 相対多数、最頻部分列、最長共通部分列、名詞句などのルールと手動審査を用いて注釈を裁定し、ゴールドラベルを作成する。
• 注釈者間一致度（Kappa、F1、MASI、エントロピー）を計算し、感情と役割ごとの分布を報告する。曖昧さを反映するために、すべての注釈者の判断を公開する。

実験結果

リサーチクエスチョン

• RQ1 見出しを経験者、原因、対象、手掛かりを含む構造化された感情表現でどのように注釈できるか？
• RQ2 見出しにおける感情分類、強度、意味役割のクラウドソーシング注釈の信頼性はどの程度か？
• RQ3 見出しの感情の意味役割構造を基礎モデルで予測できるか、そしてその性能はどうか？
• RQ4 読者の感情認識は、著者または文章の明示的な感情とどう比較されるか？

主な発見

• データセットには 5,000 件の見出し、56,612語、17,513 の固有トークンが含まれ；平均見出し長は 11 語。
• フェーズ1とフェーズ2のクラウドソーシングは、感情タスクと開かれた質問タスクでの合意が異なるパターンを達成し、支配的な感情ラベリングにおける主観性が顕著だった。
• オープン質問（経験者、手掛かり、原因、対象）の注釈者間一致は、さまざまだが概ね妥当な指標を示す（例：経験者、手掛かり、原因、対象の平均値が指標全体で）。
• 手掛かりと原因が最も頻繁に注釈された役割で、それぞれ27%、次いで対象が25%、経験者は注釈の19%に存在。
• 否定的サプライズと肯定的サプライズが全体の感情注釈を支配し、愛は最も少ない annotation。
• 著者は裁定ガイドラインを提供し、Most Common Subsequence および Longest Common Subsequence のような規則がオープン質問の自動裁定を支援することを示す。