[論文レビュー] "I Wanted to Predict Elections with Twitter and all I got was this Lousy Paper" -- A Balanced Survey on Election Prediction using Twitter Data

Daniel Gayo-Avello|arXiv (Cornell University)|Apr 28, 2012

Misinformation and Its Impacts参考文献 26被引用数 167

ひとこと要約

この論文は、Twitterデータを用いた選挙予測の実現可能性を厳密に検討し、現在の手法に、後向き分析、劣ったベースライン、検証されていないセンチメント分析、および無視された人口統計的・信頼性のバイアスといった根本的な欠陥があると主張する。Twitterデータには選挙に対して一貫した予測力がなく、改善されたデータ検証と人口統計的補正を伴う、より洗練された、再現可能性のある研究が求められると結論づけている。

ABSTRACT

Predicting X from Twitter is a popular fad within the Twitter research subculture. It seems both appealing and relatively easy. Among such kind of studies, electoral prediction is maybe the most attractive, and at this moment there is a growing body of literature on such a topic. This is not only an interesting research problem but, above all, it is extremely difficult. However, most of the authors seem to be more interested in claiming positive results than in providing sound and reproducible methods. It is also especially worrisome that many recent papers seem to only acknowledge those studies supporting the idea of Twitter predicting elections, instead of conducting a balanced literature review showing both sides of the matter. After reading many of such papers I have decided to write such a survey myself. Hence, in this paper, every study relevant to the matter of electoral prediction using social media is commented. From this review it can be concluded that the predictive power of Twitter regarding elections has been greatly exaggerated, and that hard research problems still lie ahead.

研究の動機と目的

• Twitterデータが選挙を信頼性高く予測できるという広く受け入れられている主張に挑戦すること。
• ソーシャルメディアを用いた選挙予測研究における方法論的欠陥を特定し、批判すること。
• ソーシャルメディアベースの政治的予測において、より洗練され、再現可能で、倫理的に整合性のある研究手法を提唱すること。
• 予測精度を損なう要因として、人口統計的バイアス、自己選択バイアス、誤情報の役割が軽視されていることの重要性を強調すること。
• データの信頼性、センチメント分析の正確性、人口統計的補正を重視する、今後の研究のためのフレームワークを提言すること。

提案手法

• Twitterベースの選挙予測に関する主要な研究を、体系的かつ年代順にレビューする。
• 後向き分析、適切なベースラインの欠如、および運任せや現職候補予測をベンチマークとして用いるという、方法論的欠陥を分析する。
• 政治的志向を表す代理指標として、生のツイート数、センチメント分析、ユーザ数を検証なしに使用している点を評価する。
• 信頼性の確認、人口統計的プロファイル、政治的ディス course に特化したセンチメント分析を重視する、今後の研究のためのフレームワークを提言する。
• ソーシャルメディア予測における「票」と「真実」の定義についてのレコメンデーションを提示し、世論調査ではなく実際の選挙結果の使用を提唱する。
• 予測パイプラインにプロパガンダ検出、スパムアカウント（ソックパペット）同定、信頼性スコアリングなどの技術を統合するよう要請する。

実験結果

リサーチクエスチョン

• RQ1 現在の方法論的アプローチを踏まえると、Twitterデータは選挙結果をどの程度信頼性高く予測できるのか？
• RQ2 人口統計的不均衡と自己選択バイアスは、Twitterベースの予測の妥当性にどのように影響を及えるのか？
• RQ3 多くの研究が適切なベースラインを用いないのはなぜか？ そして、その結果、予測成功の主張がどのように揺らぐのか？
• RQ4 センチメント分析は選挙予測においてどのような役割を果たすのか？ そして、なぜ現在のアプローチでは政治的ディス course には不十分なのか？
• RQ5 Twitterデータにおける信頼性の欠如、誤情報、プロパガンダは、予測モデルでどのように体系的に検出・軽減できるのか？

主な発見

• Twitterを用いた選挙予測を主張する多くの研究は、事後分析にすぎず、信頼性を損なう。
• Twitterデータの予測力は著しく誇張されており、しばしば現職候補が勝つと予測するのと同程度の性能にとどまる。
• 政治的言語の複雑さ、たとえば皮肉や風刺を含むことから、これらの研究で用いられるセンチメント分析手法は、しばしばランダム分類器と同等の性能にとどまる。
• 人口統計的バイアスは広範にわたり、若年層、都市部、政治的に活発なユーザーが過剰に代表されているため、特定の候補者に偏った予測がなされる。
• 誤情報、プロパガンダ、ボット活動といった信頼性の問題は、しばしば無視されており、信頼できないデータ入力をもたらしている。
• ソーシャルメディアにおける「票」の定義についての合意はなく、全ユーザー、ユニークユーザー、センチメントスコアのいずれを数えるかが不一致であり、再現不能な結果を生じさせている。