[論文レビュー] Crowdsourcing for Beyond Polarity Sentiment Analysis A Pure Emotion Lexicon

Giannis Haralabopoulos, Elena Simperl|arXiv (Cornell University)|Oct 4, 2017

Sentiment Analysis and Opinion Mining参考文献 26被引用数 5

ひとこと要約

本論文は、専門家やゴールドスタンダードに依存せずに、プラチキの8つの基本的感情（喜び、怒り、恐怖、悲しみ、驚き、嫌悪、信頼、予期）に基づく純粋な感情語彙（PEL）を構築するスケーラブルでコスト効率の高いクラウドソーシングフレームワークを提案する。この手法は、クラウド労働者を用いて感情、強調語、ストップワードをラベル付けするが、単一の感情割り当てについての合意は不要である。作業者フィルタリングとバッチ評価を通じて、高品質な結果を達成しており、感情評価において専門家と同等の性能を示し、コスト効率ではそれを上回っている。

ABSTRACT

Sentiment analysis aims to uncover emotions conveyed through information. In its simplest form, it is performed on a polarity basis, where the goal is to classify information with positive or negative emotion. Recent research has explored more nuanced ways to capture emotions that go beyond polarity. For these methods to work, they require a critical resource: a lexicon that is appropriate for the task at hand, in terms of the range of emotions it captures diversity. In the past, sentiment analysis lexicons have been created by experts, such as linguists and behavioural scientists, with strict rules. Lexicon evaluation was also performed by experts or gold standards. In our paper, we propose a crowdsourcing method for lexicon acquisition, which is scalable, cost-effective, and doesn't require experts or gold standards. We also compare crowd and expert evaluations of the lexicon, to assess the overall lexicon quality, and the evaluation capabilities of the crowd.

研究の動機と目的

• 伝統的な極性ベースのセンチメント分析を超える、スケーラブルで低コストな純粋な感情語彙の取得手法を開発すること。
• 語彙作成および評価における専門家が作成したゴールドスタンダードへの依存を排除すること。
• クラウドソーシングによる感情ラベル付けおよび言語的要素（例：強調語、否定語）のラベル付けの品質を専門家評価と比較して評価すること。
• 完全に自動化されたエンドツーエンドのクラウドソーシングワークフローを設計し、感情語彙の取得と評価を実現すること。
• 貢献者の多様性および臨界集団の影響が、ラベル付けの信頼性および一貫性に与える影響を調査すること。

提案手法

• クラウドソーシングを用いて、プラチキの8つの基本的感情（例：喜び、怒り、恐怖、悲しみ、驚き、嫌悪、信頼、予期）の1つ以上を、語群にラベル付けする。
• 作業者には、語を感情、強調語、否定語、またはストップワードに分類するタスクが与えられ、単一の感情への割り当てについての合意は必須でない。
• ゴールドスタンダードに依存せずに、不正またはスパム投稿者を同定・除外する新しい作業者フィルタリングメカニズムを導入する。
• インターフェースを最小限に抑え、主タスクから語の原形および説明フィールドを除外することで、誤解を減らし、正確性を向上させる。
• バッチラベリングおよび評価プロセスを用いることで、語群ごとのラベル数を増やし、信頼性を向上させる。
• クラウドからの評価結果を専門家の評価と直接比較し、品質および一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 専門家の入力やゴールドスタンダードなしに、クラウドは高品質な純粋な感情語彙を生成できるか？
• RQ2 クラウドソーシングによる感情ラベル付けの品質は、専門家が作成したゴールドスタンダードと比べてどの程度か？
• RQ3 貢献者の多様性および臨界集団が、感情ラベル付けの信頼性および一貫性に与える影響は何か？
• RQ4 強調語や否定語のような言語的要素は、効果的かつ客観的にクラウドソーシングで行えるか？
• RQ5 評価者数の増加が、感情および言語的要素の評価における厳密さと合意度に与える影響は何か？

主な発見

• 適切にフィルタリングされた非専門家作業者による感情ラベル付けは、専門家と同等の品質に達しており、非専門家でも信頼できる感情ラベルを生成できることを示している。
• バッチ評価を導入した後、語群ごとのラベル数の平均が2.3から3.2に増加し、データ密度と信頼性が向上した。
• ゴールドスタンダードを必要としない新しい作業者フィルタリング手法により、スパムおよび低品質の寄与が効果的に削減された。
• 簡素化された指示と最小限のインターフェースの使用により、作業者の混乱が著しく減少し、タスク遂行のパフォーマンスが向上した。
• 語の表層形処理とバッチ処理により、コストが45％削減された一方で、複数感情分類は全ラベルの10％未満にとどまった。
• NRCなどの既存の語彙と中程度の一致（40％）を示しており、クラウドソーシングの起源にもかかわらず、既存の感情カテゴリーと整合性があることが示された。