[논문 리뷰] Using Twitter Attribute Information to Predict Stock Prices

Roderick Karlemstrand, Ebba Leckström|arXiv (Cornell University)|2021. 05. 04.

Stock Market Forecasting Methods참고 문헌 25인용 수 6

한 줄 요약

이 연구는 역사적 주가, 기술적 지표, 그리고 트위터 속성(예: 감성 점수, 재트윗 수, 좋아요 수, 팔로워 수, 인증 상태 등)을 통합한 LSTM 기반 딥러닝 모델을 개발하여 주가를 예측한다. 기술적 분석과 트위터 데이터를 조합할 경우 평균제곱오차(MSE)가 11% 감소하고, 트위터 속성만 추가할 경우 3% 향상되어 주가 움직임 예측에 있어 그들의 점진적인 예측가치를 입증한다.

ABSTRACT

Being able to predict stock prices might be the unspoken wish of stock investors. Although stock prices are complicated to predict, there are many theories about what affects their movements, including interest rates, news and social media. With the help of Machine Learning, complex patterns in data can be identified beyond the human intellect. In this thesis, a Machine Learning model for time series forecasting is created and tested to predict stock prices. The model is based on a neural network with several layers of LSTM and fully connected layers. It is trained with historical stock values, technical indicators and Twitter attribute information retrieved, extracted and calculated from posts on the social media platform Twitter. These attributes are sentiment score, favourites, followers, retweets and if an account is verified. To collect data from Twitter, Twitter's API is used. Sentiment analysis is conducted with VADER. The results show that by adding more Twitter attributes, the MSE between the predicted prices and the actual prices improved by 3%. With technical analysis taken into account, MSE decreases from 0.1617 to 0.1437, which is an improvement of around 11%. The restrictions of this study include that the selected stock has to be publicly listed on the stock market and popular on Twitter and among individual investors. Besides, the stock markets' opening hours differ from Twitter, which constantly available. It may therefore introduce noises in the model.

연구 동기 및 목표

• 기존의 기술적 지표 외에 트위터 속성 정보가 주가 예측 정확도를 향상시키는지 조사하기 위해.
• 금융 시계열 데이터와 소셜 미디어 감성 및 참여 지표를 통합한 딥러닝 모델을 개발하고 평가하기 위해.
• 감성, 재트윗 수, 팔로워 수 등의 트위터 속성이 주가 예측 성능에 기여하는 점진적 가치를 평가하기 위해.
• API 요청 제한 및 금융 시장와 소셜 미디어 활동 간 시간 불일치와 같은 데이터 수집 제약 조건이 모델의 강건성에 미치는 영향을 검토하기 위해.
• 공개된 트위터 데이터와 역사적 주가 데이터를 활용한 알고리즘 트레이딩 응용 프로그램의 가능성을 탐색하기 위해.

제안 방법

• 시간 시리즈 예측을 위해 다중 레이어의 장기적 단기 기억(LSTM) 유닛과 완전히 연결된 레이어를 포함한 딥 네ural 네트워크 아키텍처를 구현한다.
• 모델은 역사적 주가, 기술적 지표(SMA5, 볼린저 밴드 등) 및 트위터 API를 통해 추출한 엔지니어링된 트위터 속성을 조합하여 훈련된다.
• 트위터 감성은 VADER(Valence Aware Dictionary and sEntiment Reasoner)를 사용해 분석하며, 재트윗 수, 좋아요 수, 팔로워 수, 인증 상태 등의 참여 지표는 트윗 메타데이터에서 추출된다.
• 데이터 전처리에는 정규화 및 불균형 또는 누락된 데이터 처리가 포함되며, 시간 순서를 유지하여 시계열 예측에서 데이터 泄露를 방지하는 데 중점을 둔다.
• 모델 평가는 시간 순서에 따라 분할된 테스트 세트에서 평균제곱오차(MSE)를 사용하여 수행되어 시간적 타당성을 유지한다.
• 기준 모델(주가 가격만 사용), 기술적 지표 포함 모델, 트위터 속성 추가 모델 간의 예측 성능을 비교한다.

실험 결과

연구 질문

• RQ1 기술적 지표와 함께 감성, 재트윗 수, 팔로워 수 등의 트위터 속성이 주가 예측 정확도를 얼마나 향상시키는가?
• RQ2 소셜 미디어 데이터의 포함 여부가 변동성이 큰 시장 조건에서 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ3 트위터 속성과 기술적 지표 중 어느 것이 주가 예측 오차 감소에 더 큰 기여를 하는가?
• RQ4 API 요청 제한 및 금융 시장 활동와 소셜 미디어 활동 간 시간 불일치와 같은 데이터 수집 제약 조건이 모델 성능에 어떤 영향을 미치는가?
• RQ5 금융 데이터와 소셜 미디어 데이터의 하이브리드 데이터셋으로 훈련된 딥러닝 모델이 주가 움직임의 비선형 패턴을 효과적으로 학습할 수 있는가?

주요 결과

• 기술적 지표의 포함으로 평균제곱오차(MSE)가 0.1617에서 0.1437로 감소하여 정확도가 11% 향상되었다.
• 트위터 속성만 추가했을 경우 MSE 감소를 통해 정확도가 3% 향상되어 변동성이 큰 기간 동안 그들의 점진적 가치가 확인되었다.
• 기술적 지표와 트위터 속성을 모두 통합한 경우 모델이 가장 우수한 성능을 보였으며, 이는 상호보완적인 정보 원천임을 시사한다.
• 모델의 성공에도 불구하고 트위터 속성의 기여도는 기술적 지표에 비해 뚜렷하지 않아 기초적이고 기술적 요소가 여전히 주요 예측 변수임을 시사한다.
• 연구 과정에서 API 요청 제한, 일시적 정지, 계산 자원 제약으로 인한 데이터 누락 등 데이터 수집 과제를 경험했으며, 이는 데이터 완전성에 영향을 주었다.
• 특히 scikit-learn를 사용한 정규화 전처리 방법이 트위터 감성 점수의 영향을 비례적으로 과소평가하여 잠재적으로 그 진정된 예측 능력을 가림으로써 부작용을 초래할 수 있었다.