[論文レビュー] TwitterPaul: Extracting and Aggregating Twitter Predictions

Naushad UzZaman, Roi Blanco+1 more|arXiv (Cornell University)|Nov 28, 2012

Sports Analytics and Performance参考文献 20被引用数 10

ひとこと要約

TwitterPaul は、自然言語処理を用いて高精度に予測タイプを分類することで、2010年FIFAワールドカップの試合に関するツイート予測を抽出・集約するシステムであり、予測の正確性は最大88%に達する。予測の重み付けにはユーザーヒストリーを活用し、投票や機械学習による集約処理を実施することで、予測市場と同等水準の予測性能を達成した。これは、データ量よりも抽出の質が重要であることを示している。

ABSTRACT

This paper introduces TwitterPaul, a system designed to make use of Social Media data to help to predict game outcomes for the 2010 FIFA World Cup tournament. To this end, we extracted over 538K mentions to football games from a large sample of tweets that occurred during the World Cup, and we classified into different types with a precision of up to 88%. The different mentions were aggregated in order to make predictions about the outcomes of the actual games. We attempt to learn which Twitter users are accurate predictors and explore several techniques in order to exploit this information to make more accurate predictions. We compare our results to strong baselines and against the betting line (prediction market) and found that the quality of extractions is more important than the quantity, suggesting that high precision methods working on a medium-sized dataset are preferable over low precision methods that use a larger amount of data. Finally, by aggregating some classes of predictions, the system performance is close to the one of the betting line. Furthermore, we believe that this domain independent framework can help to predict other sports, elections, product release dates and other future events that people talk about in social media.

研究の動機と目的

• Twitter からの公開予測を自動で抽出・集約し、スポーツ結果のような現実世界の結果を予測するシステムを開発すること。
• 予測市場と同等の性能を達成できるかどうか、ソーシャルメディアの会話がイベントの結果を予測できるかを評価すること。
• 予測の質と量の影響、およびユーザーログイン度が予測の正確性を向上させる役割を調査すること。
• 予測指標のRMSE や正確性と相関が低いにもかかわらず、ベッティング市場で利益を上げられる予測システムが存在するかを検討すること。

提案手法

• 部分品詞タギングとモーダル語（例：'will'、'might'、'predicts'）の文脈に配慮した解析を用いた、高精度なNLPパイプラインにより、ツイートを予測タイプに分類する。
• チーム名マッチングと時系列的文脈分析を用いて、予測を特定のワールドカップ試合にマッピングする。
• 履歴の正確性、予測数、フォロワー数、フォローリスト数を用いてユーザーログイン度をモデル化し、投票または機械学習により重みを調整する。
• 3つの集約戦略を評価する：単純な投票、ユーザーフィーチャーを用いた重み付き投票、予測重みを最適化するための教師あり学習。
• ベッティングライン確率（予測市場のベースライン）と比較して、RMSE、正確性、およびシミュレーテッドベッティング市場のリターンを用いて性能をベンチマークする。
• 1試合あたり10ドルをベットするシナリオで、予測確率を用いて利益をシミュレートする。リターンはオッズと実際の結果に基づいて計算される。

実験結果

リサーチクエスチョン

• RQ1 高精度抽出が、より大きなデータ量を用いる低精度手法よりも優れているかどうか。
• RQ2 個々のユーザーヒストリーのパフォーマンスが、集約予測の正確性に与える影響はどの程度か。
• RQ3 予測市場のベンチマークが、ソーシャルメディアベースの予測システムのパフォーマンスにどの程度制限を及えるか。
• RQ4 強い予測性能を示しているにもかかわらず、RMSE や正確性と実際のベッティング市場収益の間で相関が低いのはなぜか。
• RQ5 標準的な誤差指標で下回るにもかかわらず、ソーシャルメディア予測が収益性のあるベッティング戦略を生成できるか。

主な発見

• 538,000件のツイートからなる中規模データセットを用いて、最大88%のF1スコアを達成する高精度抽出は、より大きなデータ量を用いる低精度手法を上回り、品質が量よりも重要であることを実証した。
• 重み付き投票または機械学習を用いた TwitterPaul の予測性能は、ベッティングラインのベースラインに近く、市場水準の正確性を達成した。
• 「サポート」ツイート（例：'I support X'）を用いたシステムは、正確性が低いにもかかわらず、高オッズの試合にベットしたため、シミュレーテッドベッティングで56.9ドルの収益を上げ、RMSE最適化モデルをも上回った。
• 平均二乗誤差（RMSE）と正確性は、ベッティング市場収益と非常に低い相関（ピアソンr < 0.31）を示しており、誤差指標だけでは収益性を予測できないことを示している。
• ベッティングラインベースラインは、確率が正確であれば640ドルでトータルリターンがゼロになるはずだが、TwitterPaul のシミュレーテッドパフォーマンスは、現実のベッティングシナリオでナイトブートモデルを上回ることを示した。
• 過去の正確性、フォロワー数、予測数といったユーザーヒストリー特徴量は、モデルパフォーマンスの向上に顕著な寄与を示さず、信頼性スコアリングにおける限界を示唆している。