[논문 리뷰] Multimodal deep learning for short-term stock volatility prediction

Marcelo Sardelich, Suresh Manandhar|arXiv (Cornell University)|2018. 12. 25.

Stock Market Forecasting Methods참고 문헌 44인용 수 8

한 줄 요약

이 논문은 주가 수익률 움직임과 뉴스 헤드라인을 동시에 인코딩하여 1일 후 변동성을 예측하는 다중모달 딥러닝 모델을 제안한다. 이 모델은 다섯 개의 금융 산업 부문에서 널리 사용되는 GARCH(1,1) 모델을 능가하며, R², MSE, MAE 지표에서 뛰어난 성능을 기록한다. 모델은 관련성이 높은 뉴스를 우선시하기 위해 계층적 어텐션 메커니즘과 NLI 문장 인코더에서 온 전이학습을 활용하여, 가격과 뉴스 데이터를 융합했을 때 성능이 향상된다.

ABSTRACT

Stock market volatility forecasting is a task relevant to assessing market risk. We investigate the interaction between news and prices for the one-day-ahead volatility prediction using state-of-the-art deep learning approaches. The proposed models are trained either end-to-end or using sentence encoders transfered from other tasks. We evaluate a broad range of stock market sectors, namely Consumer Staples, Energy, Utilities, Heathcare, and Financials. Our experimental results show that adding news improves the volatility forecasting as compared to the mainstream models that rely only on price data. In particular, our model outperforms the widely-recognized GARCH(1,1) model for all sectors in terms of coefficient of determination $R^2$, $MSE$ and $MAE$, achieving the best performance when training from both news and price data.

연구 동기 및 목표

• 딥러닝을 활용하여 가격 데이터와 텍스트 뉴스를 통합함으로써 단기 변동성 예측 성능을 향상시키기.
• 뉴스의 관련성과 시간적 맥락이 시장 반응과 연관지어지는 데서 발생하는 과제를 해결하기.
• NLP 작업(예: NLI)에서 온 전이학습의 재무 변동성 예측에 대한 효과성을 평가하기.
• 다중모달 모델링이 단일모달(가격 전용) 또는 간단한 뉴스 집계 방법보다 우수한지 평가하기.
• 다양한 문장 인코더 아키텍처가 예측 성능에 미치는 영향을 조사하기.

제안 방법

• 가격 시계열과 뉴스 헤드라인을 별도로 처리한 후 융합하는 계층적 엔드 투 엔드 딥러닝 아키텍처를 사용한다.
• 콘텐츠 기반으로 매일 가장 중요한 뉴스에 동적으로 주목하는 뉴스 관련성 어텐션 메커니즘을 적용한다.
• 과거 뉴스의 순서와 누적 효과를 고려하기 위해 시간적 맥락 모델링을 통합한다.
• 공유된 주식 임베딩을 활용한 다중주식 미니배치 학습 전략을 통해 주식 간 공통성을 모델링한다.
• SNLI 및 레이터스 RCV1 데이터셋에서 사전 훈련된 문장 인코더를 미세조정하여 뉴스 인코딩에 전이학습을 활용한다.
• 단서 실험을 통해 선택된 최적의 문장 인코더 아키텍처로 BiLSTM에 최대 풀링을 적용한다.

실험 결과

연구 질문

• RQ1 가격 데이터 외에 뉴스 헤드라인을 통합함으로써, 단일 가격 데이터 모델 대비 1일 후 변동성 예측 성능이 향상되는가?
• RQ2 뉴스 통합이 딥러닝 모델의 단기 변동성 예측 성능에 어떤 영향을 미치는가?
• RQ3 NLI 또는 재무 텍스트에서 온 사전 훈련된 문장 인코더 중 어느 것이 변동성 예측에 더 뛰어난 성능을 내는가?
• RQ4 관련성이 높은 뉴스를 우선시하는 어텐션 메커니즘이 얼마나 정확도 향상에 기여하는가?
• RQ5 제안된 다중모달 모델은 다양한 금융 산업 부문에 일반화되는가?

주요 결과

• 제안된 다중모달 모델(가격 + 뉴스)은 소비재, 에너지, 통신, 헬스케어, 금융 부문에서 R², MSE, MAE 지표 전반에서 GARCH(1,1) 모델을 모두 능가한다.
• 소비재 부문에서 모델은 R² 0.538(비교 모델의 0.406), MSE 3.04×10⁻⁵(비교 모델의 3.98×10⁻⁵), MAE 3.72×10⁻³(비교 모델의 4.34×10⁻³)을 기록했다.
• SNLI NLI 데이터셋에서 온 전이학습을 적용한 BiLSTM + 최대 풀링 문장 인코더가 테스트된 모든 문장 인코더 중에서 가장 뛰어난 성능을 보였다.
• 단서 실험 결과, 뉴스 관련성 어텐션 레이어가 단순 평균화보다 성능 향상에 뚜렷한 기여를 했다.
• 뉴스 모odal을 완전히 제거하면 예측 정확도가 떨어지며, 이는 텍스트 정보의 추가 가치를 확인한다.
• 모델은 모든 평가 지표에서 GARCH(1,1)를 일관되게 능가하며, 다양한 산업 부문에 걸쳐 뛰어난 일반화 능력을 보였다.