[논문 리뷰] Leveraging Financial News for Stock Trend Prediction with Attention-Based Recurrent Neural Network

Huicheng Liu|arXiv (Cornell University)|2018. 11. 14.

Stock Market Forecasting Methods인용 수 12

한 줄 요약

이 논문은 주식 가격 방향성 움직임을 예측하기 위해 재무 뉴스 헤드라인을 활용하는 어텐션 기반 LSTM 모델(At-LSTM)을 제안한다. S&P 500 지수와 개별 주식에 대해 적용한 결과, S&P 500 예측에서 최대 65.53%의 정확도를 기록했으며, 월마트와 같은 개별 주식에서는 최대 72.06%의 정확도를 달성하여 기준 모델들을 능가했으며, 계산 금융 분야에서 고급 자연어 처리 기법의 가치를 입증했다.

ABSTRACT

Stock market prediction is one of the most attractive research topic since the successful prediction on the market's future movement leads to significant profit. Traditional short term stock market predictions are usually based on the analysis of historical market data, such as stock prices, moving averages or daily returns. However, financial news also contains useful information on public companies and the market. Existing methods in finance literature exploit sentiment signal features, which are limited by not considering factors such as events and the news context. We address this issue by leveraging deep neural models to extract rich semantic features from news text. In particular, a Bidirectional-LSTM are used to encode the news text and capture the context information, self attention mechanism are applied to distribute attention on most relative words, news and days. In terms of predicting directional changes in both Standard & Poor's 500 index and individual companies stock price, we show that this technique is competitive with other state of the art approaches, demonstrating the effectiveness of recent NLP technology advances for computational finance.

연구 동기 및 목표

• 간단한 감성 분석을 넘어서 재무 뉴스에서 풍부한 의미적 특징을 통합함으로써 주가 추세 예측을 향상시키기 위해.
• 기존 방법들이 뉴스 텍스트 내의 맥락적 정보 및 사건 수준의 정보를 포착하지 못하는 한계를 해결하기 위해.
• 어텐션 메커니즘을 갖춘 딥 네ural 네트워크가 금융 시계열 예측 성능을 향상시키는 데 효과적인지 탐색하기 위해.
• 주식 예측 모델에서 뉴스 헤드라인과 전체 뉴스 기사 중 어느 것이 더 우수한 성능을 내는지 비교하기 위해.
• 모델의 성능을 광범위한 시장 지수와 개별 주식 모두에서 평가하여 정확도에 영향을 주는 요인을 규명하기 위해.

제안 방법

• 재무 뉴스 헤드라인의 순차적이고 맥락적인 의존성을 포착하기 위해 양방향 LSTM을 사용하여 텍스트를 인코딩한다.
• 입력 시퀀스의 다양한 요소들(단어, 뉴스, 일자)의 중요도를 동적으로 가중하기 위해 단어, 뉴스, 일자 수준에서 자기 어텐션 메커니즘을 적용한다.
• 로이터와 블룸버그의 뉴스 타이틀을 처리하며, 노이즈를 줄이고 관련성을 높이기 위해 헤드라인에만 집중한다.
• 어휘에 없는 단어나 희귀어의 표현을 향상시키기 위해 워드 임베딩을 통한 문자 수준의 조합(WEB-At-LSTM)을 통합한다.
• 기록된 표현 위에 분류 헤드를 적용하여 주가 가격의 방향성 변화(상승/하락)를 예측하도록 모델을 훈련시킨다.
• 제거 실험을 통해 기술적 지표가 포함된 모델와 없는 모델를 비교하여, 이러한 특징들이 노이즈가 추가되어 성능을 떨어뜨린다는 것을 확인했다.

실험 결과

연구 질문

• RQ1 어텐션 기반 순환 네트워크는 재무 뉴스 헤드라인에서 주가 추세 예측을 위한 관련 의미적 및 맥락적 특징을 효과적으로 추출할 수 있는가?
• RQ2 단어, 뉴스, 일자 수준에서 자기 어텐션을 다중 수준으로 포함할 경우, 표준 RNN이나 bag-of-words 모델 대비 정확도가 어떻게 향상되는가?
• RQ3 전체 기사 대비 헤드라인만 사용할 경우 주가 예측 작업에서 성능이 향상되는가?
• RQ4 지식 그래프 이벤트 임베딩을 사용하는 최신 기술인 KGEB-CNN과 비교했을 때, 제안된 At-LSTM 모델의 성능은 어떠한가?
• RQ5 모델의 입력에 기술적 지표를 추가했을 때 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• At-LSTM 모델은 S&P 500 지수 추세 예측에서 최대 65.53%의 정확도와 평균 63.06%의 정확도를 기록하여 SVM 및 기타 기준 모델들을 능가했다.
• 개별 주식에 대해서는 평균 정확도 68.5%를 기록했으며, 월마트(WMT)에서는 최대 72.06%의 정확도를 달성하여 기업 전용 뉴스에서 더 높은 성능를 보였다.
• Bag-At-LSTM와 CNN-LSTM보다도 성능이 뛰어나, 뉴스 및 일자 수준에서 자기 어텐션을 통해 특징 선택과 시간적 모델링이 향상됨을 입증했다.
• 전체 뉴스 본문을 포함한 모델들(예: Ab-At-LSTM, Doc-At-LSTM)은 성능이 떨어졌으며, 이는 헤드라인이 더 관련성 있고 집중도 높은 정보를 담고 있음을 확인시켰다.
• 기존 연구에서 제안한 기술적 지표를 추가했을 때 성능 향상이 없었고 오히려 정확도가 떨어졌는데, 이는 입력 표현에 노이즈가 추가되었기 때문일 것이다.
• 외부 지식을 사용하지 않은 점을 감안할 때, 모델의 성능는 지식 그래프 이벤트 임베딩을 사용하는 최신 기술인 KGEB-CNN과도 경쟁 가능했다.