[論文レビュー] Event Outcome Prediction using Sentiment Analysis and Crowd Wisdom in Microblog Feeds

Rahul Radhakrishnan Iyer, Ronghuo Zheng+2 more|arXiv (Cornell University)|Dec 11, 2019

Sentiment Analysis and Opinion Mining参考文献 29被引用数 11

ひとこと要約

本稿では、ドキュメント埋め込みとトピック特徴を用いたマルチラベルセンチメント分析フレームワークを提案し、マイクロブログのセンチメントから米大統領討論の優勝者、グラミー賞、スーパーボウルの結果といったイベントの結果を予測する。集団の知性は基本的に専門家の意見と一致しており、乖離が生じる場合でも、専門家のコメントが公衆のセンチメントに顕著な影響を与えることが判明した。これにより、専門家による文脈情報と組み合わせることで、ソーシャルメディアのセンチメントが現実世界の結果を信頼性高く予測する手段として有効であることが裏付けられた。

ABSTRACT

Sentiment Analysis of microblog feeds has attracted considerable interest in recent times. Most of the current work focuses on tweet sentiment classification. But not much work has been done to explore how reliable the opinions of the mass (crowd wisdom) in social network microblogs such as twitter are in predicting outcomes of certain events such as election debates. In this work, we investigate whether crowd wisdom is useful in predicting such outcomes and whether their opinions are influenced by the experts in the field. We work in the domain of multi-label classification to perform sentiment classification of tweets and obtain the opinion of the crowd. This learnt sentiment is then used to predict outcomes of events such as: US Presidential Debate winners, Grammy Award winners, Super Bowl Winners. We find that in most of the cases, the wisdom of the crowd does indeed match with that of the experts, and in cases where they don't (particularly in the case of debates), we see that the crowd's opinion is actually influenced by that of the experts.

研究の動機と目的

• マイクロブログ（例：Twitter）における集団の公衆センチメントが、選挙討論、グラミー賞、スーパーボウルの結果といった現実世界のイベント結果を信頼性高く予測できるかどうかを調査すること。
• 集団の知性がイベント結果予測において専門家の意見とどの程度一致するかを検証すること。
• 特に大規模なイベント（例：大統領討論）において、専門家のコメントがソーシャルメディアにおける公衆のセンチメントにどのように影響を与えるかを分析すること。
• ドキュメント埋め込みとトピック特徴を用いたマルチラベル分類の有効性を、マイクロブログデータにおけるセンチメント分析に適用すること。
• 多様なイベントタイプにわたり、ソーシャルメディアのセンチメントと専門家の判断の予測力を比較・評価すること。

提案手法

• 本研究では、各ツイートにセンチメント極性と候補者／カテゴリを同時にラベル付けるマルチラベル分類アプローチを採用し、RaKeLに基づくマルチラベル分類器を用いる。
• 分類精度の向上を図るため、文脈的なセンチメントを捉えるドキュメント埋め込み特徴と、ツイートの主題を表現するトピック特徴を統合する。
• 結果予測のため、各候補者またはノミネート者ごとにセンチメントスコアを集計し、正のセンチメントが最も高いものを予測優勝者として選出する。
• 時間的経過に伴う公衆センチメントの変化と、特にワシントン・ポストなどの報道機関からの専門家コメントとの相関関係を調査するため、トレンド分析を実施する。
• モデルはラベル付き学習データで訓練され、3つのイベント分野（米大統領討論、グラミー賞2013、スーパーボウル2013）のラベルなしツイートに適用される。
• 評価指標にはF1スコアと平均精度を用い、公平性とスケーラビリティを確保するため、予測リストは参加者数の半分（またはMVP予測では上位10名）に設定する。

実験結果

リサーチクエスチョン

• RQ1 マイクロブログにおける集団のセンチメントは、イベント結果予測において専門家の予測とどの程度一致するか？
• RQ2 大統領討論のようなハイリスクイベントにおいて、専門家のコメントはソーシャルメディアにおける公衆のセンチメントにどのように影響を与えるか？
• RQ3 ドキュメント埋め込みとトピック特徴を用いたマルチラベルセンチメント分類は、グラミー賞やスーパーボウルのようなマルチカテゴリイベントの優勝者を効果的に予測できるか？
• RQ4 公衆センチメントの時間的トレンドはどのようなものであり、専門家の評価とどの程度相関するか？
• RQ5 集団の意見と専門家の意見が乖離する場合、特に専門家の影響がセンチメントのシフトを引き起こす要因となるか？

主な発見

• 集団のセンチメント予測は、グラミー賞やスーパーボウルにおいて専門家の結果とほとんど一致しており、それぞれ平均F1スコアは0.750および1.000であった。
• 米大統領討論では、システムがワシントン・ポストの専門家ランクと類似した優勝者を予測し、公衆センチメントと専門家の判断の間で強い一致が確認された。
• 意見の相違が生じた場合（例：第5回共和党討論）、公衆センチメントは一時的に専門家の見解と乖離したが、翌日には専門家の意見に近づく傾向を示し、専門家の影響が顕著であった。
• RaKeLマルチラベル分類器は単一ラベルモデルを上回る性能を示し、ドキュメント埋め込みとトピック特徴がセンチメント分類において最も効果的であった。
• 全イベント全体の平均F1スコアは0.636、平均精度は0.677であり、全体として高い予測性能が確認された。
• 本研究は、文脈的・トピックに配慮した特徴を組み込んだソーシャルメディアのセンチメントが、結果予測において専門家の判断の信頼できる代替指標であることを確認した。