[논문 리뷰] Listening to Chaotic Whispers: A Deep Learning Framework for News-oriented Stock Trend Prediction

Ziniu Hu, Weiqing Liu외 3명|arXiv (Cornell University)|2017. 12. 06.

Stock Market Forecasting Methods인용 수 58

한 줄 요약

자율 학습(Self-paced learning)을 갖춘 하이브리드 어텐션 네트워크(HAN)를 도입하여 혼란스러운 온라인 뉴스에서 주가 추세를 예측하고 정확도와 시뮬레이션 거래 수익을 향상시킨다.

ABSTRACT

Stock trend prediction plays a critical role in seeking maximized profit from stock investment. However, precise trend prediction is very difficult since the highly volatile and non-stationary nature of stock market. Exploding information on Internet together with advancing development of natural language processing and text mining techniques have enable investors to unveil market trends and volatility from online content. Unfortunately, the quality, trustworthiness and comprehensiveness of online content related to stock market varies drastically, and a large portion consists of the low-quality news, comments, or even rumors. To address this challenge, we imitate the learning process of human beings facing such chaotic online news, driven by three principles: sequential content dependency, diverse influence, and effective and efficient learning. In this paper, to capture the first two principles, we designed a Hybrid Attention Networks to predict the stock trend based on the sequence of recent related news. Moreover, we apply the self-paced learning mechanism to imitate the third principle. Extensive experiments on real-world stock market data demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 혼란스러운 온라인 뉴스를 활용한 주가 추세 예측의 동기를 제시하고 데이터 품질 문제에 대처한다.
• 주목 메커니즘을 사용하여 시퀀스 맥락과 뉴스의 다양한 영향을 모델링한다.
• 난이도가 높은 샘플을 다루기 위해 self-paced learning을 도입한 효과적이고 효율적인 학습 패러다임을 포함한다.

제안 방법

• 하이브리드 어텐션 네트워크(HAN)와 두 가지 주의층을 제안한다: 날짜 내의 뉴스 수준 주의와 날짜 간의 시계열 주의.
• 뉴스 임베딩 층(사전 학습된 Word2Vec)을 사용해 뉴스 벡터를 만든 뒤 뉴스 수준 주의로 날짜 말뭉치 벡터를 형성한다.
• 날짜 벡터의 시퀀스를 인코딩하기 위해 양방향 GRU를 사용하고 시간에 걸쳐 집계하기 위한 시계열 주의 층을 적용한다.
• 모델 매개변수와 샘플 가중치를 반복적으로 최적화하여 점진적으로 더 어려운 샘플을 포함하는 self-paced learning(SPL)을 구현한다.
• 실제 중국 주식 및 뉴스 데이터를 활용하고 간단한 트레이딩 시뮬레이션을 수행하며 HAN과 RF, MLP, News-RNN 변형, SPL이 적용된 HAN 변형과의 비교를 수행한다.
• 주요 식에는 뉴스 수준 주의 u_ti = sigmoid(W_n n_ti + b_n), alpha_ti = exp(u_ti) / sum_j exp(u_tj), d_t = sum_i alpha_ti n_ti, GRU 상태 방정식, 그리고 V 구성을 위한 시계열 주의 o_i와 beta_i가 포함된다.

실험 결과

연구 질문

• RQ1 혼란스러운 품질의 뉴스를 사용해도 딥 러닝 프레이워크가 다음 날의 주가 추세를 효과적으로 예측할 수 있는가?
• RQ2 시퀀스 맥락과 뉴스 수준의 중요성을 포착하는 계층적 주의가 베이스라인보다 예측력을 향상시키는가?
• RQ3 데이터에 노이즈가 많거나 뉴스가 드문 시기에 self-paced learning이 성능을 향상시키는가?

주요 결과

• HAN with SPL은 삼중 레이블 분류에서 베이스라인 중에서 가장 높은 정확도를 달성한다.
• 시계열 주의가 최근에 게재된 뉴스가 일반적으로 더 큰 영향을 미친다는 것을 포착하며 맥락에 따라 다양한 패턴을 보인다.
• 자율 학습은 특히 더 어려운 샘플에서 최종 정확도와 수렴을 개선한다.
• 트레이딩 시뮬레이션은 다양한 상위_K 종목 선택에서 HAN-SPL이 가장 높은 연간화 수익률을 보인다(예: 상위 40종목에서 연간화 수익률 0.611).
• 뉴스 주의는 정보성이 있는 기사와 정보성이 없는 기사를 구분할 수 있으며, 높은 주의 예시와 일치한다.
• 이 프레임워크는 RF, MLP, News-RNN, Temp-ATT 변형에 비해 유의미한 성능 향상을 보여준다.