[논문 리뷰] Twitter Sentiment Analysis: How To Hedge Your Bets In The Stock Markets

Tushar Rao, Saket Srivastava|arXiv (Cornell University)|2012. 12. 05.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 트위터 감성 분석 모델을 제안하며, 미세블로깅 데이터에서의 공적 분위기와 단기 주식 시장 움직임 간의 상관관계를 그랜저 인과성과 전문 모델 마이닝 시스템(EMMS)을 사용하여 DJIA 수익률을 90.8%의 방향 정확도와 결정계수 0.952로 예측한다. 이 접근법은 감성 기반 신호에 따라 포트폴리오를 동적으로 조정함으로써 향상된 헤지 전략을 가능하게 한다.

ABSTRACT

Emerging interest of trading companies and hedge funds in mining social web has created new avenues for intelligent systems that make use of public opinion in driving investment decisions. It is well accepted that at high frequency trading, investors are tracking memes rising up in microblogging forums to count for the public behavior as an important feature while making short term investment decisions. We investigate the complex relationship between tweet board literature (like bullishness, volume, agreement etc) with the financial market instruments (like volatility, trading volume and stock prices). We have analyzed Twitter sentiments for more than 4 million tweets between June 2010 and July 2011 for DJIA, NASDAQ-100 and 11 other big cap technological stocks. Our results show high correlation (upto 0.88 for returns) between stock prices and twitter sentiments. Further, using Granger's Causality Analysis, we have validated that the movement of stock prices and indices are greatly affected in the short term by Twitter discussions. Finally, we have implemented Expert Model Mining System (EMMS) to demonstrate that our forecasted returns give a high value of R-square (0.952) with low Maximum Absolute Percentage Error (MaxAPE) of 1.76% for Dow Jones Industrial Average (DJIA). We introduce a novel way to make use of market monitoring elements derived from public mood to retain a portfolio within limited risk state (highly improved hedging bets) during typical market conditions.

연구 동기 및 목표

• 주요 지수와 테크주주에 대한 단기 금융 시장 움직임과 트위터 감성 간의 인과관계를 조사하기 위해.
• 미세블로깅 데이터를 활용하여 특정 기업이나 지수에 대한 공적 감성 수준을 측정할 수 있는 확장 가능하고 커스터마이징 가능한 방법을 개발하기 위해.
• 트위터 감성 특징(예: 호의성, 일치도, 활동량)이 주가 수익률과 변동성에 그랜저 인과성을 가지는지 검증하기 위해.
• 실시간 감성 기반 포트폴리오 헤지 전략을 가능하게 하는 전문 모델 마이닝 시스템(EMMS)을 설계하고 구현하기 위해.
• 감성 데이터의 실용적 유용성을 통해 변동성 높은 시장 조건에서 감성 기반의 동적 포트폴리오 조정을 통해 투자 리스크를 감소시키는 데 기여하기 위해.

제안 방법

• 2010년 6월부터 2011년 7월까지 트위터의 검색 API를 사용해 400만 건 이상의 트윗을 수집하였으며, DJIA, NASDAQ-100 및 11개의 대형 테크주주를 대상으로 하였다.
• 각 기업/지수에 대해 호의성(긍정적 감성), 일치도(감성에 대한 공감대), 활동량(토론 강도) 등의 감성 특징을 정의하였다.
• 지연된 트위터 감성 특징이 향후 주가 수익률, 변동성 및 거래량을 예측할 수 있는지 확인하기 위해 그랜저 인과성 분석(GCA)을 적용하였다.
• 감성 특징과 금융 지표 간의 선형 관계의 강도를 측정하기 위해 상관관계 분석을 수행하였다.
• 감성 기반 입력을 활용하여 주가 수익률을 예측하기 위해 전문 모델 마이닝 시스템(EMMS)을 구현하였으며, 결정계수와 최대 절대 백분율 오차(MaxAPE) 최적화를 위해 설계하였다.
• DJIA 및 NASDAQ-100 데이터에 대해 샘플 외 테스트를 수행하여 모델 성능을 검증하였으며, 방향 정확도 및 오차 지표를 비교하였다.

실험 결과

연구 질문

• RQ1 트위터 감성 특징(호의성, 일치도, 활동량)이 주가 및 지수의 단기 움직임에 얼마나 그랜저 인과성을 가지는가?
• RQ2 지연된 감성 특징(1~3주)이 DJIA 및 NASDAQ-100의 향후 수익률을 얼마나 잘 예측하는가?
• RQ3 감성 기반 모델이 주식 지수 지수에 대해 이전 접근 방식보다 높은 방향 정확도와 예측 결정계수를 달성할 수 있는가?
• RQ4 트위터 감성은 변동성 높은 시장 조건에서 리스크를 감소시키기 위해 포지션을 동적으로 조정하는 데 어떻게 활용될 수 있는가?
• RQ5 개별 주식과 광범위한 지수에 대해 감성 모델링의 확장성과 커스터마이징 가능성은 어떠한가?

주요 결과

• 특히 테크 산업 부문에서, 트위터 감성 특징과 주가 수익률 간에 강한 상관관계(최대 0.88)를 보였다.
• 그랜저 인과성 분석을 통해 트위터 감성 특징이 향후 수익률을 유의미하게 예측할 수 있음을 확인하였으며, 특히 2주 지연 시점에서 가장 높은 예측 능력을 보였다.
• 전문 모델 마이닝 시스템(EMMS)은 DJIA 수익률 예측에서 결정계수 0.952와 MaxAPE 1.76%를 달성하여 이전 모델을 초월하였다.
• 모델은 DJIA 움직임 예측에서 90.8%의 방향 정확도를 보였으며, 이는 이전 연구들(예: Bollen 등에서 86.7%)보다 유의미하게 높았다.
• 특히 시장 전환점을 감지하는 데 있어, 순수 감성 극성보다는 일치도 및 활동량과 같은 특징이 더 높은 예측 능력을 보였다.
• 감성 변화에 따라 포지션 재조정(예: 호의적에서 약세로 전환)을 유도함으로써 효과적인 동적 헤지 전략을 구현할 수 있었으며, 이는 시장 하락 기간 동안 노출을 줄이는 데 기여하였다.