[논문 리뷰] Predicting Financial Markets: Comparing Survey, News, Twitter and Search Engine Data

Huina Mao, Scott Counts외 1명|arXiv (Cornell University)|2011. 12. 05.

FinTech, Crowdfunding, Digital Finance인용 수 119

한 줄 요약

이 연구는 재무시장 움직임을 예측하기 위해 설문조사, 뉴스, 트위터, 구글 검색 데이터의 정서 지표를 비교한다. 연구 결과, 구글 검색 빈도와 트위터 정서(특히 금융 용어의 1~2일 지연된 트윗 빈도)가 일일 시장 수익률과 변동성 예측에 강력한 예측력이 있음을 발견했으며, 기존 투자자 설문조사 지표는 다른 정서 지표를 통제한 후에는 통계적으로 유의미한 예측력이 없음을 확인했다.

ABSTRACT

Financial market prediction on the basis of online sentiment tracking has drawn a lot of attention recently. However, most results in this emerging domain rely on a unique, particular combination of data sets and sentiment tracking tools. This makes it difficult to disambiguate measurement and instrument effects from factors that are actually involved in the apparent relation between online sentiment and market values. In this paper, we survey a range of online data sets (Twitter feeds, news headlines, and volumes of Google search queries) and sentiment tracking methods (Twitter Investor Sentiment, Negative News Sentiment and Tweet & Google Search volumes of financial terms), and compare their value for financial prediction of market indices such as the Dow Jones Industrial Average, trading volumes, and market volatility (VIX), as well as gold prices. We also compare the predictive power of traditional investor sentiment survey data, i.e. Investor Intelligence and Daily Sentiment Index, against those of the mentioned set of online sentiment indicators. Our results show that traditional surveys of Investor Intelligence are lagging indicators of the financial markets. However, weekly Google Insight Search volumes on financial search queries do have predictive value. An indicator of Twitter Investor Sentiment and the frequency of occurrence of financial terms on Twitter in the previous 1-2 days are also found to be very statistically significant predictors of daily market log return. Survey sentiment indicators are however found not to be statistically significant predictors of financial market values, once we control for all other mood indicators as well as the VIX.

연구 동기 및 목표

• 다양한 온라인 정서 지표—설문 기반, 뉴스, 트위터, 검색 엔진 데이터—가 재무시장 지수에 미치는 예측 능력을 평가하고 비교하는 것.
• 실시간 온라인 데이터 시대에 전통적인 투자자 정서 설문조사(예: Investor Intelligence, Daily Sentiment Index)가 여전히 효과적인 예측 지표인지 확인하는 것.
• 실시간 소셜 미디어 및 웹 검색 데이터가 지연된 설문조사 데이터보다 우수한 예측 능력을 제공하는지 평가하는 것.
• 정서 지표의 시간적 동적 특성, 특히 시장 움직임과의 리드-래그 관계를 조사하는 것.
• 일일 및 주간 시간 척도에서 재무 예측에 가장 효과적인 정서 데이터 소스 및 지표를 이해하는 데 기여하는 비교 프레임워크를 제공하는 것.

제안 방법

• 투자자 정서 설문조사(Investor Intelligence, Daily Sentiment Index), 뉴스 헤드라인(부정 정서 점수), 트위터(투자자 정서 및 금융 용어의 빈도), 구글 검색 빈도(금융 용어)에서 정서 지표를 수집.
• 주간 및 일일 정서 지표를 구성하고, 예측 능력을 평가하기 위해 시간 지연 특징을 적용(예: 트위터 데이터의 1~2일 지연).
• 다운존 산업 평균지수(DJIA)의 일일 로그 수익률, 거래량, VIX(변동성), 금 가격을 예측하기 위해 선형 모델을 적용.
• 정서 지표와 재무 변수 간의 예측 방향성 평가를 위해 그랑저 인과관계 검정을 사용.
• 다중 정서 지표와 VIX를 통제하여 각 정서 원천의 고유한 예측 기여도를 분리.
• 특히 2011년 8월~9월과 같은 고변동성 기간 동안의 다양한 시장 제도에서 R-제곱 향상 및 통계적 유의성 검정(p-값)을 통해 예측 정확도 평가.

실험 결과

연구 질문

• RQ1 설문조사, 뉴스, 트위터, 검색 엔진 데이터 중 어느 온라인 정서 지표가 DJIA, 거래량, VIX, 금 가격의 일일 및 주간 움직임을 가장 잘 예측하는가?
• RQ2 기타 정서 측정치를 통제한 후에도 전통적인 투자자 정서 설문조사(예: Investor Intelligence, DSI)가 재무시장 지표에 통계적으로 유의미한 예측력을 제공하는가?
• RQ3 금융 용어의 구글 검색 빈도가 트위터 기반 정서 및 빈도 지표에 비해 시장 수익률과 변동성 예측에서 어떻게 비교되는가?
• RQ4 트위터 기반 정서 및 빈도 지표(TIS, TV-FST)는 시장 움직임과 리드-래그 관계를 보이며, 설문 기반 정서보다 뛰어난 예측 성능을 보이는가?
• RQ5 2011년 8월~9월과 같은 고시장 변동성 기간 동안 다양한 정서 지표의 예측 능력은 어떻게 다를까?

주요 결과

• 금융 용어에 대한 주간 구글 인사이트 검색 빈도(GIS)는 DJIA 종가, 거래량, VIX에 대해 통계적으로 유의미한 예측 지표이며, 그랑저 인과관계 검정을 통해 예측 방향성도 확인되었다.
• 트위터 투자자 정서(TIS)와 트위터에서 금융 용어의 1~2일 지연된 빈도(TV-FST)는 다른 정서 지표와 VIX를 통제한 후에도 일일 시장 로그 수익률에 대해 매우 통계적으로 유의미한 예측 지표이다.
• 기존 투자자 정서 설문조사(Investor Intelligence 및 Daily Sentiment Index)는 다른 정서 지표가 포함된 모델에서 재무시장 가치 예측에 대해 통계적으로 유의미한 예측력이 없다.
• 부정 뉴스 정서(NNS)는 시장 수익률에 대해 통계적으로 유의미한 예측 지표이지만, TIS와 TV-FST만큼 강력한 예측력을 갖지는 못한다.
• 2011년 7月下旬~8월 초에 DJIA가 급락하기 몇 주 전, 금융 용어 트윗 빈도가 구글 검색 빈도보다 몇 주 일찍 상승했으며, 이는 트위터가 시장 신호 탐지에 더 이른 시기의 신호를 제공할 수 있음을 시사한다.
• GIS를 예측 모델에 포함함으로써 정확도가 향상되었으며, 특히 VIX가 높고 DJIA가 하락 추세를 보였던 2011년 8월과 같은 고변동성 기간에 뚜렷하게 개선되었다.