[논문 리뷰] A Tweet-based Dataset for Company-Level Stock Return Prediction

Karolina Sowinska, Pranava Madhyastha|arXiv (Cornell University)|2020. 06. 17.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 1일, 2일, 3일, 7일 주가 수익률 방향을 레이블링한 공개된, 기업 수준의 862,231건의 영문 트윗 데이터셋을 소개하며, 사회적 미디어 감성 분석을 통해 주가 움직임을 예측할 수 있는 기계학습 모델을 가능하게 한다. 연구에서는 BERT, fastText, bag-of-words 특징을 조합한 다중 시각 학습 기법이 예측 정확도를 향상시키며, 특히 3일 수익률 예측에서 뛰어난 성능을 보이며 최고 F1 스코어 0.61을 기록한다.

ABSTRACT

Public opinion influences events, especially related to stock market movement, in which a subtle hint can influence the local outcome of the market. In this paper, we present a dataset that allows for company-level analysis of tweet based impact on one-, two-, three-, and seven-day stock returns. Our dataset consists of 862, 231 labelled instances from twitter in English, we also release a cleaned subset of 85, 176 labelled instances to the community. We also provide baselines using standard machine learning algorithms and a multi-view learning based approach that makes use of different types of features. Our dataset, scripts and models are publicly available at: https://github.com/ImperialNLP/stockreturnpred.

연구 동기 및 목표

• 트위터에서의 소셜 미디어 감성 정보를 활용하여 기업별 주가 수익률 예측의 격차를 해소하고자 한다.
• 세부적인 기업 수준의 주가 움직임 예측을 위한 레이블링된 공개 데이터셋을 제공하고자 한다.
• 다양한 NLP 및 기계학습 기법을 활용하여 트윗의 텍스트 특징이 예측 성능에 미치는 영향을 평가하고자 한다.
• 개선된 주가 수익률 방향 예측을 위해 단일 시각 및 다중 시각 학습 접근법을 비교 평가하고자 한다.

제안 방법

• 데이터셋은 1일, 2일, 3일, 7일 수익률 수평선에 연결된 862,231건의 레이블링된 영문 트윗을 포함한다.
• 텍스트 특징은 어휘, 서브워드, 문맥 정보를 포괄하기 위해 bag-of-words, fastText, BERT 임베딩을 사용하여 추출된다.
• 감성 극성은 TextBlob과 자체 개발한 LSTM 기반 감성 분류기로 측정된다.
• 다중 시각 학습 프레임워크는 캐논리컬 상관분석(CCA)을 통해 여러 특징 표현을 통합한 후 자동화된 기계학습 파이프라인에 입력된다.
• 연구는 80:20 훈련-테스트 분할을 적용하고, 다양한 수익률 수평선에서 정확도를 평가한다.
• 기준 모델로는 표준 기계학습 알고리즘과 다양한 특징 시각의 투영을 연결하는 다중 시각 학습 접근법이 포함된다.

실험 결과

연구 질문

• RQ1 트윗 수준의 감성과 텍스트 내용은 단기에서 중기 수준의 수익률 방향을 기업 수준에서 예측할 수 있는가?
• RQ2 BERT, fastText, BoW와 같은 다중 시각 텍스트 특징의 포함이 단일 시각 모델 대비 주가 수익률 예측 성능을 얼마나 향상시키는가?
• RQ3 NLP 특징을 활용한 트윗 기반 주가 수익률 예측에서 최적의 예측 수평선(1일, 2일, 3일, 7일)은 무엇인가?
• RQ4 재무 지표, 뉴스 빈도, 소셜 미디어 빈도만으로도 감성 기반 모델에 비해 주가 수익률 방향을 얼마나 잘 예측할 수 있는가?
• RQ5 다양한 NLP 특징 표현을 다중 시각 학습을 통해 통합하면 개별 표현보다 더 높은 예측 성능을 달성할 수 있는가?

주요 결과

• fastText와 BERT 특징을 조합한 다중 시각 학습 접근법이 7일 주가 수익률 방향 예측에서 최고 정확도 0.64를 기록했다.
• 3일 수익률 예측에서 BoW와 fastText 특징을 사용한 다중 시각 모델이 정확도 0.61을 기록하며 단일 시각 기준 모델을 능가했다.
• BERT를 사용한 최고의 단일 시각 모델은 1일 수익률 예측에서 정확도 0.53을 기록했으며, BoW와 fastText보다 略로 뛰어난 성능을 보였다.
• 세 번째 벤치마크에서 감성 정보를 포함시킴으로써, 빈도 지표에 의존하는 모델(벤치마크 2)보다 예측 정확도가 향상되었다.
• 결과적으로 다중 시각 학습은 서로 보완적인 NLP 표현으로부터 정보를 효과적으로 포착하여 중기 주가 방향 예측의 예측 능력을 향상시킨다.