[논문 리뷰] Sentiment Analysis of Twitter Data for Predicting Stock Market Movements

Venkata Sasank Pagolu, Kamal Nayan Reddy Challa외 2명|arXiv (Cornell University)|2016. 10. 28.

Stock Market Forecasting Methods참고 문헌 10인용 수 13

한 줄 요약

이 논문은 Word2vec과 N-gram 텍스트 표현 방식을 사용하여 투자자들의 공공의 감정을 분석함으로써 주식 시장 움직임을 예측하는 기계학습 접근법을 제안한다. 3일 간의 집계된 트윗 감성과 다음 날 주가 변동 사이에 강한 상관관계를 보이며, LibSVM를 사용해 71.82%의 정확도를 달성하여 소셜 미디어의 감성이 효과적으로 시장 추세를 예측할 수 있음을 시사한다.

ABSTRACT

Predicting stock market movements is a well-known problem of interest. Now-a-days social media is perfectly representing the public sentiment and opinion about current events. Especially, twitter has attracted a lot of attention from researchers for studying the public sentiments. Stock market prediction on the basis of public sentiments expressed on twitter has been an intriguing field of research. Previous studies have concluded that the aggregate public mood collected from twitter may well be correlated with Dow Jones Industrial Average Index (DJIA). The thesis of this work is to observe how well the changes in stock prices of a company, the rises and falls, are correlated with the public opinions being expressed in tweets about that company. Understanding author's opinion from a piece of text is the objective of sentiment analysis. The present paper have employed two different textual representations, Word2vec and N-gram, for analyzing the public sentiments in tweets. In this paper, we have applied sentiment analysis and supervised machine learning principles to the tweets extracted from twitter and analyze the correlation between stock market movements of a company and sentiments in tweets. In an elaborate way, positive news and tweets in social media about a company would definitely encourage people to invest in the stocks of that company and as a result the stock price of that company would increase. At the end of the paper, it is shown that a strong correlation exists between the rise and falls in stock prices with the public sentiments in tweets.

연구 동기 및 목표

• 트위터 트윗에 표현된 공공의 감성과 그 이후 주가 움직임 사이의 상관관계를 조사하는 것.
• 짧은 텍스트(트윗)를 긍정, 부정, 중립 감성으로 정확하게 분류할 수 있는 강력한 감성 분석기 개발.
• 시간에 따라 집계된 감성 점수가 랜덤 추측보다 더 높은 정확도로 주가 방향성(상승/하락)을 예측할 수 있는지 평가하는 것.
• 감성 예측 작업에 대해 두 가지 텍스트 표현 기법인 Word2vec과 N-gram의 성능을 비교하는 것.

제안 방법

• 특정 기업과 관련된 트위터 데이터를 키워드와 API를 사용해 수집하여 해당 주식에 대한 대중의 감성에 초점을 맞춘다.
• 노이즈 제거(예: URL, 멘션 제거)를 통해 트윗을 전처리하고, 두 가지 텍스트 표현 방법인 Word2vec 임베딩과 N-gram 특징 추출을 적용한다.
• 라벨이 부여된 감성 데이터를 기반으로 여러 가지 지도 학습 분류기(예: 랜덤 포레스트, 로지스틱 회귀, LibSVM)를 훈련시어 트윗을 긍정, 부정, 중립으로 분류한다.
• 다음 날 주가 방향(1 = 상승, 0 = 하락)을 예측하기 위한 입력 특징으로 3일 간의 이동 평균 감성 점수(긍정, 부정, 중립 수)를 집계한다.
• 데이터셋을 80% 훈련 세트와 20% 테스트 세트로 분할하고, Weka를 사용해 모델 훈련 및 평가를 수행하며 정확도, 정밀도, 재현율, F-측정치와 같은 표준 지표를 사용한다.
• ROC 곡선을 사용해 모델 성능을 평가하고, 다양한 알고리즘과 특징 표현 방식 간의 성능을 비교하여 최적의 구성 요건을 도출한다.

실험 결과

연구 질문

• RQ1 트위터 트윗의 공공 감성과 그 이후 주가 움직임 사이에 통계적으로 유의미한 상관관계가 존재하는가?
• RQ2 Word2vec과 N-gram 표현 방식이 인간 레이블링 기준에 비해 트윗과 같은 짧고 비공식적인 텍스트의 감성 분류에 얼마나 잘 작동하는가?
• RQ3 3일 간의 집계된 감성 점수가 다음 날 주가 방향성 변화를 의미 있는 정확도로 예측할 수 있는가?
• RQ4 트위터 데이터에서 유도된 감성 특징을 기반으로 훈련된 기계학습 알고리즘 중 어느 것이 주가 방향 예측에 가장 우수한 성능을 보이는가?

주요 결과

• N-gram 특징을 사용한 감성 분석기는 70.5%의 정확도를 달성했고, Word2vec 특징을 사용한 경우 70.2%의 정확도를 기록했으며, 이는 짧은 텍스트 감성 분류에서 일반적인 인간 간 일致 범위(70–79%)를 초월한다.
• N-gram에 비해 약간 낮은 정확도를 보였지만, 더 큰 데이터셋에서의 확장성과 의미적 일관성 측면에서 Word2vec 기반 모델이 더 선호된다.
• 3일 간의 집계된 감성 특징을 기반으로 훈련한 분류기는 로지스틱 회귀로 69.01%의 정확도, LibSVM로 71.82%의 정확도를 기록하여 강력한 예측 능력을 보였다.
• 결과는 트위터에서의 공공 감성 추세와 실제 주가 움직임 사이에 유의미한 상관관계가 있음을 시사하며, 소셜 미디어 감성이 시장 방향을 예측할 수 있음을 뒷받침한다.
• 더 큰 훈련 데이터를 사용할수록 모델 성능이 향상되었으며, 이는 3,216개 트윗을 초과하는 레이블링된 데이터셋을 확장하면 예측 정확도가 더욱 향상될 수 있음을 시사한다.
• 이 연구는 기업에 대한 트위터에서의 긍정적 공공 감성이 이후 주가 상승과 관련이 있음을 확인하여 감성 기반 시장 예측의 核심 전제를 검증한다.