[논문 리뷰] Sentiment Predictability for Stocks

Jordan Prosky, Xingyou Song외 2명|arXiv (Cornell University)|2017. 12. 15.

Stock Market Forecasting Methods참고 문헌 9인용 수 12

한 줄 요약

이 논문은 금융 뉴스와 소셜 미디어 감성 데이터에 적용된 딥러닝 모델을 사용하여 개별 주식 가격 움직임의 예측 가능성에 대해 연구한다. LSTM와 컨볼루션 네트워크를 이벤트 추출 및 감성 분석과 결합한 결과, 모델들이 쉽게 과적합되며 약 50%의 정확도에 그쳐, 이론적으로는 강력한 잠재력이 있지만 실질적인 활용 가능성은 제한적임을 시사한다.

ABSTRACT

In this work, we present our findings and experiments for stock-market prediction using various textual sentiment analysis tools, such as mood analysis and event extraction, as well as prediction models, such as LSTMs and specific convolutional architectures.

연구 동기 및 목표

• 금융 뉴스에서 유도된 감성 및 사건 기반 특징이 개별 주식 가격 움직임을 예측할 수 있는지 탐색한다.
• LSTM 및 컨볼루션 신경망이 텍스트 감성 및 사건 데이터를 사용하여 주식 방향(상승/하락)을 분류하는 데 성능을 평가한다.
• 이벤트 추출 및 감성 분석이 기본 가격 데이터를 초월해 예측 정확도를 향상시키는지 조사한다.
• 딥러닝을 통한 개별 주식 예측에서 과적합 및 데이터 부족과 같은 과제를 규명한다.
• NLP 및 시계열 모델링을 활용한 감성 기반 주식 예측을 위한 재현 가능한 프레임워크를 기여한다.

제안 방법

• 금융 뉴스 헤드라인에서 유도된 감성 점수를 사용하여 주식 방향(상승/하강)을 분류하기 위해 LSTM 기반 모델을 사용한다.
• 오픈 정보 추출(Open Information Extraction, OpenIE)을 통해 얻은 이벤트 임베딩을 사용한 컨볼루션 신경망(CNNs)을 도입하여 뉴스 텍스트 내 의미적 사건을 캡처한다.
• VADER 감성 분석과 스탠포드 OpenIE를 통한 이벤트 추출을 결합하여 구조화된 이벤트 표현을 생성한다.
• 시간 순서에 따라 정렬된 뉴스 기사 및 주가 데이터의 시퀀스를 사용하여 모델을 훈련시키며, 시간적 의존성을 평가하기 위해 셔플되지 않은 데이터와 셔플된 데이터를 모두 활용한다.
• 과적합 및 모델 일반화 능력을 평가하기 위해 에포크 수(50, 500)와 은닉층 크기를 변경하는 하이퍼파rameter 튜닝을 수행한다.
• 장기, 중기, 단기 예측 능력을 평가하기 위해 다중 척도 시간 설정(월, 주, 일)을 도입한다.

실험 결과

연구 질문

• RQ1 금융 뉴스에서 유도된 감성 및 사건 기반 특징이 개별 주식 가격 방향 예측을 향상시킬 수 있는가?
• RQ2 텍스트 감성 및 사건 데이터를 사용할 때 LSTM과 컨볼루션 네트워크의 성능은 어떻게 비교되는가?
• RQ3 과적합이 개별 주식 예측 작업에서 딥러닝 모델의 일반화 능력을 어느 정도 제한하는가?
• RQ4 뉴스 데이터의 시간 순서가 모델 성능에 상당한 영향을 미치는가?
• RQ5 데이터의 양과 품질이 개별 주식에 대한 의미 있는 예측 정확도를 달성하는 데 어떤 역할을 하는가?

주요 결과

• 감성 기반 LSTM 모델은 높은 훈련 정확도(90% 이상)를 기록했지만 과적합의 징후를 보였으며, 테스트 정확도가 정점에 도달하거나 감소하는 경향을 보였다.
• 이벤트 임베딩을 사용한 컨볼루션 네트워크는 최대 약 50%의 테스트 정확도를 기록하여 랜덤 추측 수준을 초월하지 못함을 시사했다.
• 전체 네트워크(월, 주, 일)는 심각한 과적합을 보였으며, 빠르게 100% 수준의 훈련 정확도에 도달하여 복잡한 아키텍처에 비해 데이터가 부족함을 시사했다.
• 단기(일일) 네트워크는 에포크 수가 증가함에 따라 테스트 정확도가 더 일관되게 향상되어 일반화 잠재력이 더 높다는 것을 시사했다.
• 훈련 데이터를 셔플해도 테스트 성능 향상이 일관되게 나타나지 않아, 시간 순서가 중요할 수 있지만 현재 모델들이 이를 안정적으로 활용하지 못한다는 점을 시사했다.
• 최첨단 NLP 도구와 딥러닝 아키텍처를 사용했음에도 불구하고, 모델들은 랜덤 추측을 뛰어나지 못했으며, 현재 방법으로는 개별 주식 예측이 매우 어려움을 보여주었다.