[論文レビュー] Crowdsourcing a Word-Emotion Association Lexicon

Saif M. Mohammad, Peter D. Turney|arXiv (Cornell University)|Aug 28, 2013

Sentiment Analysis and Opinion Mining参考文献 18被引用数 68

ひとこと要約

本稿では、アマゾン・メカニカル・トゥーカーを用いたクラウドソーシングにより、大規模かつ高品質な語-感情および語-極性関連語彙が作成された。語の選択検証質問を組み込み、感情アノテーションの表現を最適化することで、著者たちは高いアノテーター間一致度を達成し、意味レベルの感情関連と意味的傾向ラベルを備えた10,170語の語彙を生成した。これにより、自然言語処理応用における感情分析とセンチメント分析の向上が可能になった。

ABSTRACT

Even though considerable attention has been given to the polarity of words (positive and negative) and the creation of large polarity lexicons, research in emotion analysis has had to rely on limited and small emotion lexicons. In this paper we show how the combined strength and wisdom of the crowds can be used to generate a large, high-quality, word-emotion and word-polarity association lexicon quickly and inexpensively. We enumerate the challenges in emotion annotation in a crowdsourcing scenario and propose solutions to address them. Most notably, in addition to questions about emotions associated with terms, we show how the inclusion of a word choice question can discourage malicious data entry, help identify instances where the annotator may not be familiar with the target term (allowing us to reject such annotations), and help obtain annotations at sense level (rather than at word level). We conducted experiments on how to formulate the emotion-annotation questions, and show that asking if a term is associated with an emotion leads to markedly higher inter-annotator agreement than that obtained by asking if a term evokes an emotion.

研究の動機と目的

• 自然言語処理向けに大規模で高カバレッジかつ高品質な感情語彙が不足しているという問題に対処すること。
• クラウドソーシングを用いた感情および極性語彙をスケーラブルかつ低コストで作成する方法を開発すること。
• 語の選択検証質問を導入することで、クラウドソーシングによる感情ラベル付けの品質を向上させること。
• 感情アノテーション質問の表現方法がアノテーター間一致度に与える影響を調査すること。
• 語レベルおよび意味レベルの両方の感情関連分析を可能にする語彙を作成すること。

提案手法

• アマゾン・メカニカル・トゥーカーを用いたカスタム調査インターフェースによるクラウドソーシングによる感情および極性アノテーション。
• 未知の語を検出および悪意のあるデータ入力を防ぐために、語の選択質問を統合した。
• 「この語はXの感情を喚起するか？」と「この語はXの感情に関連しているか？」という表現の違いを比較し、一致度を向上させるために質問の表現を最適化した。
• MaxDiff判断を正規化スコアに変換するため、階層ベイズ推定を用いた。
• 文脈依存の感情関連を捉えるために、語の意味のレベルでアノテーションを収集した。
• アノテーション品質を確認するため、ゴールドスタンダードデータに対して語彙を検証した。

実験結果

リサーチクエスチョン

• RQ1 語が感情に関連しているかどうかを尋ねる方が、語が感情を喚起するかどうかを尋ねるよりも、高いアノテーター間一致度をもたらすか？
• RQ2 語の選択検証質問を導入することで、クラウドソーシングによる感情アノテーションの信頼性と品質が向上するか？
• RQ3 異なる語の意味ごとに感情関連はどのように変化するか？また、頻度の高い語が特定の感情をどの程度喚起するか？
• RQ4 語彙内の感情関連語の分布はどのようになっており、直接感情を表す語はいくつあるか？
• RQ5 得られた語彙が、高度な感情検出およびセンチメント分析タスクをどの程度サポートできるか？

主な発見

• 語が感情に関連しているかどうかを尋ねる方が、語が感情を喚起するかどうかを尋ねるよりも、有意に高いアノテーター間一致度を示した。
• 語の選択検証質問の導入により、未知の語や悪意のあるアノテーターによるノイズが効果的に低減され、データ品質が向上した。
• 最終的な語彙には、感情関連と意味的傾向（肯定的、否定的、中立的）がラベル付けされた10,170語が含まれている。
• 著者たちは、826語が直接感情を表していることを同定し、感情を示す語の明確なクラスを明らかにした。
• ゴールドスタンダードデータとの検証を通じて、語彙の高い品質が確認され、感情およびセンチメント分析への有用性が裏付けられた。
• 本研究は、適切に設計されたクラウドソーシングが、低コストで信頼性の高い大規模な感情語彙を生成できることを示した。