[논문 리뷰] News-Driven Stock Prediction With Attention-Based Noisy Recurrent State Transition

Xiao Liu, Heyan Huang외 2명|arXiv (Cornell University)|2020. 04. 04.

Stock Market Forecasting Methods참고 문헌 24인용 수 6

한 줄 요약

이 논문은 뉴스 이벤트 영향력과 랜덤 노이즈를 LSTM 기반 반복 상태를 통해 통합함으로써 잠재 주가 동적을 명시적으로 모델링하는 어텐션 기반 노이즈 있는 반복 상태 전이 모델인 ANRES를 제안한다. 기준 데이터셋에서 강력한 베이스라인을 능가하며, 어텐션 시각화를 통해 설명 가능성을 향상시키면서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider direct modeling of underlying stock value movement sequences over time in the news-driven stock movement prediction. A recurrent state transition model is constructed, which better captures a gradual process of stock movement continuously by modeling the correlation between past and future price movements. By separating the effects of news and noise, a noisy random factor is also explicitly fitted based on the recurrent states. Results show that the proposed model outperforms strong baselines. Thanks to the use of attention over news events, our model is also more explainable. To our knowledge, we are the first to explicitly model both events and noise over a fundamental stock value state for news-driven stock movement prediction.

연구 동기 및 목표

• 가격 변화를 상호 독립적인 사건으로 간주하는 대신, 시간에 따라 지속적으로 변화하는 잠재 주가 움직임을 모델링하는 것.
• 뉴스 이벤트와 랜덤 노이즈가 주가 전이에 미치는 영향을 명시적으로 분리하고 모델링하는 것.
• 영향력 있는 뉴스 스토리를 강조하기 위해 뉴스 이벤트에 대한 어텐션을 사용함으로써 뉴스 기반 주가 예측의 설명 가능성을 향상시키는 것.
• LSTM에 피크홀 연결을 사용하여 뉴스 영향력과 확률적 노이즈를 통합된 반복 상태 전이 프레임워크에 통합하는 것.
• 역사적 주가 데이터에 의존하지 않고 뉴스 입력만으로 개별 주식 움직임을 예측할 수 있도록 하는 것.

제안 방법

• 모델은 시간에 따라 변화하는 기본 주가 가치 상태를 유지하기 위해 피크홀 연결이 있는 LSTM을 사용한다.
• 뉴스 이벤트 표현은 신경망 기반 어텐션 메커니즘을 통해 집계되어 반복 상태 전이에 미치는 영향을 계산한다.
• 별도의 노이즈 구성 요소는 확률적 샘플링을 사용하여 명시적으로 모델링되어 정서, 기대치 및 무작위 시장 변동성을 고려할 수 있다.
• 모델은 과거 '미래' 데이터를 기반으로 훈련된 미래 이벤트 예측 모듈을 통합하여 예상되는 다음 이벤트와 그 결과를 사전에 파악한다.
• 전체 시스템은 역사적 주가 시퀀스를 입력으로 사용하지 않고, 뉴스 입력에서 직접 주가 움직임을 예측하도록 훈련된다.
• 해석 가능성을 제공하기 위해 어텐션 가중치를 시각화하여 각 시점에서 예측에 가장 영향을 준 과거 뉴스 이벤트를 확인한다.

실험 결과

연구 질문

• RQ1 과거와 미래 주가 가치 움직임 간의 연속적인 상관관계를 모델링하면 뉴스 기반 주가 예측 정확도가 향상되는가?
• RQ2 뉴스 이벤트와 함께 노이즈를 명시적으로 모델링할 경우 모델의 강건성과 성능에 어떤 영향을 미치는가?
• RQ3 뉴스 이벤트에 대한 어텐션 메커니즘이 주가 예측 과제에서 모델의 설명 가능성을 어느 정도 향상시키는가?
• RQ4 미래 이벤트 예측 모듈을 통합할 경우 모델이 시장 움직임을 예측하는 능력이 향상되는가?
• RQ5 예측을 독립적으로 처리하는 기존의 분류 기반 모델보다 반복 상태 기반 접근이 성능을 뛰어넘을 수 있는가?

주요 결과

• ANRES 모델은 기준 데이터셋에서 강력한 베이스라인을 능가하며 정확도와 매튜스 상관계수(MCC) 모두 최신 기술 수준의 성능을 달성한다.
• 개별 주식 예측에서 기업 전용 뉴스만을 사용할 경우, 부문 수준 또는 전반적 뉴스 입력보다 유의미하게 높은 성능(애플의 경우 69.21% 정확도)을 기록하여 관련 없는 뉴스가 성능에 악영향을 준다는 것을 시사한다.
• 어텐션 시각화 결과 모델이 새로 발생한 뉴스 이벤트에 과도하게 집중하는 경향이 있으며, 이로 인해 영향력 평가가 잘못될 경우 잘못된 예측을 유도할 수 있다.
• 모델은 시간 창 내에서 다수의 뉴스 이벤트가 가지는 비선형적이고 복합적인 영향을 성공적으로 포착하여 복잡한 시장 역학을 더 잘 모델링할 수 있다.
• 노이즈 구성 요소의 포함으로 일반화 능력이 향상되어 외부 요인과 데이터의 무작위 변동성에 대한 과적합을 줄였다.
• 미래 이벤트 예측 모듈은 모델이 예상되는 후속 이벤트를 고려할 수 있도록 도와주며, 간접적인 내부자 거래 요소 모델링의 형태를 취한다.