[論文レビュー] Sentiment Uncertainty and Spam in Twitter Streams and Its Implications for General Purpose Realtime Sentiment Analysis

Nils Haldenwang, Oliver Vornberger|arXiv (Cornell University)|Jan 1, 2015

Spam and Phishing Detection参考文献 10被引用数 2

ひとこと要約

本論文は、感情の不確実性とスパムを明示的に考慮した、Twitterのセンチメント分析のための新しいベンチマークデータセットを紹介している。このデータセットは、50%を超えるツイートが肯定的または否定的であると明確にラベル付けできないことを明らかにしている。著者らは、不確実な感情を別個のカテゴリとして扱うことで、リアルタイムのセンチメント分析の信頼性を向上させることを提案しており、14,506件のツイートを人間のラベラーがラベル付けしたデータセットでは、不確実性が55%、スパムが15%を占めている。

ABSTRACT

State of the art benchmarks for Twitter Sentiment Analysis do not consider the fact that for more than half of the tweets from the public stream a distinct sentiment cannot be chosen. This paper provides a new perspective on Twitter Sentiment Analysis by highlighting the necessity of explicitly incorporating uncertainty. Moreover, a dataset of high quality to evaluate solutions for this new problem is introduced and made publicly available.

研究の動機と目的

• 既存のTwitterのセンチメント分析ベンチマークが、すべてのツイートが肯定的または否定的であると仮定しているという制限を是正すること。
• 公共のTwitterのツイートの大部分が明確な感情を伴わないことを見直し、感情の不確実性を形式的に取り扱う必要があること。
• リアルワールドのTwitterストリームにおけるセンチメント分析システムの評価を目的とした、高品質で代表的なデータセットの開発および公開。
• スパムの明示的フィルタリングと不確実な感情の分類を実施することで、リアルタイムのセンチメント分析の信頼性を向上させること。
• 将来的な研究の基盤を提供し、すべてのツイートが感情を含むと仮定するのではなく、不確実性とスパムを扱えるシステムの構築を促進すること。

提案手法

• トピックバイアスを最小限に抑えるために、2012年6月から2013年8月までの期間にわたる4300万件のツイートをランダムサンプルで収集した。
• 各ツイートに、肯定的、否定的、不確実、スパムの4つのラベルを、2名のラベラーがそれぞれ割り当てた。
• ラベルの一致度を測るためにFleissのKappaを用い、中程度の一致度（κ = 0.45）が得られ、感情の境界についての顕著な合意の欠如が示された。
• 合意の不一致マトリクスを分析し、特に肯定的／否定的と不確実な感情の間で系統的なラベリングの問題が生じていることを特定した。
• 不確実性やスパムを扱うシステムの評価を支援するため、ラベルの不一致を含む完全なデータセットを公開した。
• 不確実なツイートおよびスパムは、中立と誤認されるのではなく、フィルタリングまたは明示的な処理を行うべきであると提言した。

実験結果

リサーチクエスチョン

• RQ1 公共のTwitterストリームに含まれるツイートが、どの程度肯定的または否定的と明確にラベル付けできないか。また、その不確実性はどのように形式的にモデル化できるか。
• RQ2 スパムおよび感情を持たないコンテンツの存在が、リアルタイムのセンチメント分析の信頼性にどのように影響を与えるか。
• RQ3 不確実性を明示的に認識した場合、公共のTwitterストリームにおける感情ラベルの真の分布はどのようなものか。
• RQ4 人間のラベラーは感情の境界についてどの程度合意しないのか。これは機械学習システムにどのような含みを持つのか。
• RQ5 不確実性とスパムを含むベンチマークデータセットは、現実世界のセンチメント分析システムの評価を改善できるか。

主な発見

• 両方のラベラーが不確実と分類したツイートが55%に上り、これは大多数の公共のツイートに対して明確な感情を割り当てられないことを示している。
• 一貫性のあるラベルが与えられたツイートのうち15%がスパムを占めており、センチメントパイプラインにおける効果的なスパムフィルタリングの必要性が浮き彫りになった。
• 肯定的または否定的な明確な感情ラベルが割り当てられたツイートは全体の30%にとどまり、うち13%が肯定的、17%が否定的である。これは、大多数のツイートが明確に肯定的または否定的ではないことを示している。
• ラベルの一致度は中程度（FleissのKappa = 0.45）であり、最も顕著な不一致は肯定的／否定的と不確実な感情の間で生じていた。
• 不確実なツイートのラベル付けにおいて、ラベラー間の不一致が最も顕著であり、人間ですら感情と不確実性を区別するのが難しいことが示された。
• 過去のベンチマークで中立とラベル付けされたツイートの多くは、実際には不確実なカテゴリに属するものであり、中立は信頼性が低く、明確な感情クラスではないことが示された。