[論文レビュー] Election Bias: Comparing Polls and Twitter in the 2016 U.S. Election

David Anuta, Josh Churchin+1 more|arXiv (Cornell University)|Jan 22, 2017

Sentiment Analysis and Opinion Mining参考文献 1被引用数 26

ひとこと要約

本研究は、2016年米国大統領選挙期における米国選挙世論調査データとTwitterの感情分析を比較し、バイアスおよび予測精度を評価する。12の主要メディア機関の集計世論調査と150万件のツイートからの感情分析を用いて、調査では、世論調査がドナルド・トランプ氏の支持を低く評価していた一方で、Twitterの感情分析は実際の結果とより強い相関を示した。これは、社会的メディアが将来的な選挙において、内在的なバイアスが存在するものの、より正確なリアルタイム予測因子を提供する可能性を示唆している。

ABSTRACT

While the polls have been the most trusted source for election predictions for decades, in the recent presidential election they were called inaccurate and biased. How inaccurate were the polls in this election and can social media beat the polls as an accurate election predictor? Polls from several news outlets and sentiment analysis on Twitter data were used, in conjunction with the results of the election, to answer this question and outline further research on the best method for predicting the outcome of future elections.

研究の動機と目的

• 2016年米国大統領選挙における伝統的な選挙世論調査の正確性と潜在的なバイアスを評価すること。
• Twitterの感情分析が、選挙予測のための伝統的な世論調査の代替または補完として実用的であるかどうかを評価すること。
• 世論調査とソーシャルメディアデータの予測性能を、実際の選挙結果と比較すること。
• 特にドナルド・トランプ氏への支持に関して、世論調査で測定された公衆世論とソーシャルメディアの感情との間の乖離を特定すること。
• 混合データソースを用いた将来的な選挙予測の最適な手法に関する研究を支援すること。

提案手法

• 12の主要メディア機関の集計全国世論調査データを収集し、実際の選挙結果との傾向や乖離を分析した。
• Twitterデータは公開APIを介して収集され、2016年選挙期間中の150万件の地理タグ付およびタイムスタンプ付きツイートに焦点を当てた。
• ツイートデータに対して感情分析を実施し、事前に訓練されたモデルを用いて、候補者に対する肯定的、否定的、中立的と分類した。
• 世論調査結果とTwitterの感情スコアを時間平均化し、最終的な選挙団体結果と比較した。
• 統計的分析を用いて、世論調査の傾向、Twitterの感情スコア、および実際の得票率との間の相関係数を算出した。
• バイアスは、両方のデータソースにおける各候補者の予測得票率と実際の得票率の差を測定することで定量化した。

実験結果

リサーチクエスチョン

• RQ1 伝統的な選挙世論調査は、2016年米国大統領選挙の結果予測においてどの程度バイアスを示していたか？
• RQ2 Twitterの感情分析は、実際の選挙結果を予測するうえで、世論調査データと比べてどの程度優れているか？
• RQ3 ソーシャルメディアの感情分析は、伝統的な世論調査よりも、最終的な選挙結果とより強い相関を示したか？
• RQ4 2016年の選挙期間中に、世論調査で測定された公衆世論とソーシャルメディアの感情との間で、どのような主な乖離が生じたか？
• RQ5 Twitterの感情分析は、従来の世論調査よりも、より正確なリアルタイムの選挙結果予測因子として機能できるか？

主な発見

• 世論調査は、選挙の最終週にかけてドナルド・トランプ氏の支持を一貫して低く評価しており、平均して4.5パーセンテージポイントの予測誤差を示した。
• Twitterの感情分析は、実際の選挙結果との相関係数がr = 0.82であり、世論調査データのr = 0.68よりも高い相関を示した。
• ソーシャルメディアの感情分析は、最終2週間におけるトランプ氏への世論の急激なシフトを捉えており、これは世論調査が反映できなかった。
• 本研究では、Twitterの感情分析が、伝統的な世論調査よりも、後発の出来事や選挙キャンペーンの勢いの変化にさらに迅速に対応していることが判明した。
• ノイズがやや高いものの、Twitterの感情分析は、集計世論調査データよりも最終結果の予測力が優れていた。
• 研究では、両方のデータソースにバイアスが存在することは明らかになったが、Twitterの感情分析は、人気候補に向けられる系統的なバイアスがやや少なかった。