[논문 리뷰] Nowcasting economic and social data: when and why search engine data fails, an illustration using Google Flu Trends

Paul Ormerod, Rickard Nyman외 1명|arXiv (Cornell University)|2014. 08. 01.

Innovation Diffusion and Forecasting참고 문헌 9인용 수 12

한 줄 요약

이 논문은 구글 플루 트렌드가 왜 종종 플루 사례를 정확하게 실시간 예측하지 못하는지 분석하여, 검색 행동의 동기를 분석한다. 특히, 검색이 독립적인 정보 탐색인지 사회적 영향에 의해 유도되는지 여부를 고려한다. 네 개국의 검색 데이터를 바탕으로 베스 확산 모델을 적용한 결과, 사회적 영향이 지배할 경우 과대 예측이 발생하는 반면, 독립적인 검색 동기가 강할수록 정확한 예측이 이루어진다.

ABSTRACT

Obtaining an accurate picture of the current state of the economy is particularly important to central banks and finance ministries, and of epidemics to health ministries. There is increasing interest in the use of search engine data to provide such 'nowcasts' of social and economic indicators. However, people may search for a phrase because they independently want the information, or they may search simply because many others are searching for it. We consider the effect of the motivation for searching on the accuracy of forecasts made using search engine data of contemporaneous social and economic indicators. We illustrate the implications for forecasting accuracy using four episodes in which Google Flu Trends data gave accurate predictions of actual flu cases, and four in which the search data over-predicted considerably. Using a standard statistical methodology, the Bass diffusion model, we show that the independent search for information motive was much stronger in the cases of accurate prediction than in the inaccurate ones. Social influence, the fact that people may search for a phrase simply because many others are, was much stronger in the inaccurate compared to the accurate cases. Search engine data may therefore be an unreliable predictor of contemporaneous indicators when social influence on the decision to search is strong.

연구 동기 및 목표

• 검색 엔진 데이터(예: 구글 플루 트렌드)가 실시간 건강 지표(예: 플루 사례)를 정확히 예측하지 못하는 이유를 조사하기 위해.
• 검색 동기—특히 독립적인 정보 탐색과 사회적 영향의 차이가 검색 기반 실시간 예측의 신뢰성에 미치는 영향를 분석하기 위해.
• 독립적 검색 동기와 사회적 영향의 상대적 강도가 검색 엔진 데이터가 동시 사회·경제 지표를 예측하는 데 있어 정확도를 예측할 수 있는지 평가하기 위해.
• 베스 확산 모델을 적용하여 다양한 플루 유행 기간 동안 독립적 및 사회적 검색 행동이 차지하는 기여도를 정량화하기 위해.
• 정책적 의미가 있는 실시간 예측을 위해 검색 데이터가 신뢰할 수 있는 경우를 행동적 동기 기반으로 식별할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 플루 관련 검색 데이터에 대해 구글 트렌드 데이터에 베스 확산 모델을 적용하며, 식은 다음과 같다: $ S(t) = m\frac{(p+q)^2}{p}\frac{e^{-(p+q)t}}{(1+\frac{q}{p}e^{-(p+q)t})^2} $, 여기서 $ m $ 은 누적 검색 수, $ p $ 는 독립적 검색 계수, $ q $ 는 사회적 영향을 받는 검색 계수이다.
• R의 nlmrt 패키지를 사용한 비선형 회귀를 통해 미국, 스위스, 독일, 벨기에 네 나라에서 플루 정점 주변의 검색 데이터에 대해 $ p $ 와 $ q $ 를 추정하며, 정확한 예측 사례와 과대 예측 사례를 비교한다.
• 모델 피팅을 위해 정점 이전의 한 저점에서 정점 이후의 한 저점까지의 기간을 집중적으로 분석하여 일관된 시간 창을 확보한다.
• 정확한 예측 사례와 과대 예측 사례 간의 $ p $ 와 $ q $ 의 상대적 크기를 비교하여 독립적 검색 동기와 사회적 영향 동기의 지배 여부를 평가한다.
• 모델 적합도 평가에 조정된 $ R^2 $ 를 사용하며, 모든 사례에서 합리적인 값이 보고되었다.
• 연구는 공식 구글 플루 트렌드 웹사이트와 표 S1의 특정 검색 시계열 데이터를 사용한다.

실험 결과

연구 질문

• RQ1 검색 엔진 데이터가 실시간 사회 또는 경제 지표를 정확하게 실시간 예측하지 못하는 조건는 무엇인가?
• RQ2 독립적인 정보 탐색과 검색 행동에 대한 사회적 영향은 검색 기반 예측의 신뢰성에 어떤 영향을 미치는가?
• RQ3 독립적 검색 동기와 사회적 영향 동기의 상대적 강도가 구글 플루 트렌드 예측의 정확도를 얼마나 잘 예측할 수 있는가?
• RQ4 베스 확산 모델은 공중보건 데이터에서 독립적 검색과 사회적 영향 검색 행동을 효과적으로 구분할 수 있는가?
• RQ5 검색 패턴에서 사회적 영향이 지배하고 있음을 암시하는 초기 징후는 무엇인가?

주요 결과

• 구글 플루 트렌드가 플루 사례를 과대 예측한 사례(예: 미국 2012/13, 스위스 2008/09)에서는 사회적 영향을 받는 검색 계수 $ q $ 가 독립적 검색 계수 $ p $ 보다 유의미하게 높았으며, 이는 강한 사회적 영향을 의미한다.
• 반면, 정확한 예측 사례(예: 미국 2011/12, 스위스 2007/08)에서는 독립적 검색 계수 $ p $ 가 $ q $ 보다 상당히 높았으며, 이는 검색이 주로 개인의 정보 필요에 의해 이뤄졌음을 시사한다.
• 베스 모델의 적합도에 대한 조정된 $ R^2 $ 값은 모든 여덟 개의 사례에서 합리적이었으며, 이는 모델이 데이터에 잘 적합됨을 확인한다.
• 빠른 상승과 느린 하강을 보이는 검색 패턴은 강한 독립적 검색 동기를 나타내며, 더 대칭적인 피크는 사회적 영향이 지배하고 있음을 시사한다.
• 과대 예측는 항상 사회적 영향의 상대적 기여도가 높을 때 일관되게 발생했으며, 이는 사람들이 정보를 얻기 위해가 아니라 다른 사람들이 검색하기 때문에 검색 데이터가 신뢰할 수 없어지는 경우를 의미한다.
• 결과적으로, 검색 엔진 데이터는 개인의 독립적 검색 행동이 지배할 때 실시간 예측에 가장 유용하며, 사회적 영향이 검색 패턴을 이끄는 경우에는 신뢰성이 떨어진다.