[논문 리뷰] Market Trend Prediction using Sentiment Analysis: Lessons Learned and Paths Forward

Andrius Mudinas, Dell Zhang외 1명|arXiv (Cornell University)|2019. 03. 13.

Stock Market Forecasting Methods참고 문헌 33인용 수 39

한 줄 요약

본 논문은 금융 뉴스와 소셜 미디어의 sentiment attitudes와 sentiment emotions가 Granger 인과관계를 통해 주가 변동을 야기하는지 여부와 sentiment 특징을 추가하면 시장 추세 예측이 개선되는지 여부를 시험한다; attitudes는 일반적으로 주가 변화를 야기하지 않는 반면, certain stocks에서 emotions가 때때로 영향을 주고, sentiment features는 데이터 소스에 따라 혼재된 개선을 보인다.

ABSTRACT

Financial market forecasting is one of the most attractive practical applications of sentiment analysis. In this paper, we investigate the potential of using sentiment \emph{attitudes} (positive vs negative) and also sentiment \emph{emotions} (joy, sadness, etc.) extracted from financial news or tweets to help predict stock price movements. Our extensive experiments using the \emph{Granger-causality} test have revealed that (i) in general sentiment attitudes do not seem to Granger-cause stock price changes; and (ii) while on some specific occasions sentiment emotions do seem to Granger-cause stock price changes, the exhibited pattern is not universal and must be looked at on a case by case basis. Furthermore, it has been observed that at least for certain stocks, integrating sentiment emotions as additional features into the machine learning based market trend prediction model could improve its accuracy.

연구 동기 및 목표

• 금융에서 sentiment가 무엇인지, sentiment attitudes와 sentiment emotions를 구분하여 이해를 명확히 한다.
• 다양한 데이터 소스에서 sentiment 신호와 주가 변동 간 Granger-인과를 테스트한다.
• 기술 지표 기반의 baseline과 비교하여 sentiment attitudes 및 emotions를 포함하는 것이 머신러닝 기반의 시장 추세 예측을 개선하는지 평가한다.
• 데이터 소스와 시간적 해상도가 sentiment와 가격 간 관계에 어떤 영향을 미치는지 평가한다.
• 향후 sentiment 기반 시장 예측 연구를 위한 지침과 방향을 제시한다.

제안 방법

• 세 가지 데이터 소스인 Financial Times 기사, Reddit WorldNews Channel 헤드라인, cashtag이 포함된 주가 트윗 데이터를 수집하고 전처리한다.
• sentiment를 attitudes(긍정/부정)와 emotions(8가지 Plutchik 차원)로 정의하고 도메인 특정 어휘를 사용해 추출한다.
• 주가 변화와의 방향성을 파악하기 위해 1일 또는 2일의 시차를 가진 Granger-인과 검정을 적용한다.
• 15개의 기술 지표를 사용한 기초 모델을 개발하고 SVM과 LSTM의 성능을 비교한다.
• 헤드라인으로부터의 sentiment 신호를 기저선에 보강하고 주식 및 통화별 예측 정확도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 시장 sentiment(attitudes와 emotions)이 주가 변화에 Granger-인과를 보이는가?
• RQ2 주가 변화가 시장 sentiment에 Granger-인과를 보이는가?
• RQ3 sentiment attitudes 및/또는 sentiment emotions가 기술 지표 기반의 예측보다 시장 추세 예측을 개선하는가?
• RQ4 데이터 소스(FT, RWNC, Twitter)와 시간적 해상도가 예측에 대한 sentiment의 유용성에 어떤 영향을 주는가?

주요 결과

• sentiment attitudes가 거의 모든 데이터셋에서 주가 변화에 Granger-인과를 보이지 않는다.
• 주가 변화는 더 자주 sentiment attitudes에 Granger-인과를 보이며, 특히 시계열 sentiment 모델링과 함께 나타난다.
• sentiment emotions는 일부 개별 주식에서 예측력을 보이나 주식 및 데이터 기간에 따라 결과가 크게 달라진다.
• 헤드라인으로부터의 sentiment 신호를 도입해도 예측이 향상되는 경우는 제한적이며, 이는 주식 및 데이터 소스에 의존한다(예: 일부 FT 뉴스 사례).
• 트윗은 혼합된 결과를 보이며, 상승장과 같은 짧은 기간에는 예측 가치가 제한적이다.
• 전반적으로 sentiment 신호의 유용성은 사례별이자 데이터 소스 의존적이며 보편적 예측력은 확립되지 않았다.