[論文レビュー] Nowcasting economic and social data: when and why search engine data fails, an illustration using Google Flu Trends

Paul Ormerod, Rickard Nyman+1 more|arXiv (Cornell University)|Aug 1, 2014

Innovation Diffusion and Forecasting参考文献 9被引用数 12

ひとこと要約

本稿は、Google Flu Trends がなぜ頻繁にインフルエンザの即時予測に失敗するかを、検索行動の背後にある動機——具体的には、独立した情報探索と社会的影響のどちらが支配的であるか——を分析することで調査している。4カ国からの検索データにベス拡散モデルを適用した結果、社会的影響が支配的になると過剰予測が生じる一方、正確な予測は強い独立的検索動機と関連していることが判明した。

ABSTRACT

Obtaining an accurate picture of the current state of the economy is particularly important to central banks and finance ministries, and of epidemics to health ministries. There is increasing interest in the use of search engine data to provide such 'nowcasts' of social and economic indicators. However, people may search for a phrase because they independently want the information, or they may search simply because many others are searching for it. We consider the effect of the motivation for searching on the accuracy of forecasts made using search engine data of contemporaneous social and economic indicators. We illustrate the implications for forecasting accuracy using four episodes in which Google Flu Trends data gave accurate predictions of actual flu cases, and four in which the search data over-predicted considerably. Using a standard statistical methodology, the Bass diffusion model, we show that the independent search for information motive was much stronger in the cases of accurate prediction than in the inaccurate ones. Social influence, the fact that people may search for a phrase simply because many others are, was much stronger in the inaccurate compared to the accurate cases. Search engine data may therefore be an unreliable predictor of contemporaneous indicators when social influence on the decision to search is strong.

研究の動機と目的

• 検索エンジンデータ（例：Google Flu Trends）が、インフルエンザの症例数のようなリアルタイムの健康指標を正確に予測できない理由を調査すること。
• 検索動機——特に独立した情報探索と社会的影響——が、検索ベースの即時予測の信頼性に与える影響を検討すること。
• 独立的動機と社会的影響の相対的な強さが、検索エンジンデータが同時期の社会的・経済的指標を予測する際の正確さを予測できるかどうかを評価すること。
• ベス拡散モデルを用いて、異なるインフルエンザ流行期における独立的および社会的検索行動の寄与度を定量化すること。
• 行動的動機に基づいて、政策的に重要な即時予測において検索データが信頼できるようになる状況を特定するフレームワークを提供すること。

提案手法

• ベス拡散モデルをインフルエンザ関連検索のGoogleトレンドデータに適用し、以下の式を用いる：$ S(t) = m\frac{(p+q)^2}{p}\frac{e^{-(p+q)t}}{(1+\frac{q}{p}e^{-(p+q)t})^2} $、ここで $ m $ は累積検索数、$ p $ は独立的検索係数、$ q $ は社会的影響を受ける検索係数である。
• R 言語の nlmrt パッケージを用いた非線形回帰により、米国、スイス、ドイツ、ベルギーの4カ国におけるピーク時のインフルエンザ活動周辺の検索データから $ p $ と $ q $ を推定し、正確な予測と不正確な予測のケースを比較した。
• モデル適合のための一貫した時間窓を確保するため、ピークの前の最低点からピーク後の最低点までの期間に焦点を当てた。
• 正確な予測ケースと過剰予測ケースの間で、$ p $ と $ q $ の相対的な大きさを比較し、独立的検索動機と社会的影響の支配的度合いを評価した。
• モデルの適合度を評価するために調整済み決定係数 $ R^2 $ を用い、すべてのケースで妥当な値が得られた。
• 本研究では、公式 Google Flu Trends ウェブサイトおよび表 S1 から特定の検索時系列データを取得した。

実験結果

リサーチクエスチョン

• RQ1 検索エンジンデータが、リアルタイムの社会的または経済的指標を正確に即時予測できない状況はどのようなものか？
• RQ2 独立した情報探索と検索行動における社会的影響は、検索ベースの予測の信頼性にどのように影響するか？
• RQ3 独立的検索動機と社会的影響の相対的強さが、Google Flu Trends 予測の正確さをどの程度まで予測できるか？
• RQ4 ベス拡散モデルは、公衆衛生データにおける独立的検索行動と社会的影響の検索行動を効果的に区別できるか？
• RQ5 検索パターンの初期兆候として、社会的影響が支配的であることを示すものは何か？ これは予測精度を損なう要因となる。

主な発見

• Google Flu Trends がインフルエンザ症例を過剰に予測したケース（例：米国 2012/13、スイス 2008/09）では、社会的影響を受ける検索係数 $ q $ が独立的検索係数 $ p $ より顕著に大きく、強い社会的影響が示された。
• それに対して、正確な予測が得られたケース（例：米国 2011/12、スイス 2007/08）では、独立的検索係数 $ p $ が $ q $ より顕著に大きく、検索が主に個人の情報ニーズによって駆動されていることが示された。
• ベスモデルの適合度について、すべての8つのケースで調整済み $ R^2 $ 値が妥当な水準にあり、モデルのデータへの適用可能性が確認された。
• 検索数の急増に続く緩やかな減少は、強い独立的検索動機を示す一方、より対称的なピークは社会的影響の支配的であることを示唆している。
• 過剰予測は、常に社会的影響の相対的重みが高くなることと一貫して関連しており、人々が他者の行動に影響されて検索する場合、検索データは信頼できなくなることが示された。
• 結果から、検索エンジンデータが即時予測に最も有用であるのは、個人の独立的検索行動が支配的である場合であり、社会的影響が検索行動を支配する場合には信頼性が低下することが示唆された。