[논문 리뷰] DP-LSTM: Differential Privacy-inspired LSTM for Stock Prediction Using Financial News

Xinyi Li, Yinchuan Li외 3명|arXiv (Cornell University)|2019. 12. 19.

Stock Market Forecasting Methods인용 수 26

한 줄 요약

이 논문은 재무 뉴스 감성 정보를 VADER와 차별적 개인정보 보호(DP)를 통합하여 주가 예측을 향상시키는 새로운 딥러닝 모델인 DP-LSTM을 제안한다. LSTM과 감성-ARMA 모델링, DP 노이즈 주입을 결합함으로써 예측 오차를 감소시키고 모델의 강건성을 향상시켜, 기준 모델 대비 평균 MPA에서 0.32% 향상되고 S&P 500 지수 예측 시 최대 65.79% 감소한 MSE를 달성한다.

ABSTRACT

Stock price prediction is important for value investments in the stock market. In particular, short-term prediction that exploits financial news articles is promising in recent years. In this paper, we propose a novel deep neural network DP-LSTM for stock price prediction, which incorporates the news articles as hidden information and integrates difference news sources through the differential privacy mechanism. First, based on the autoregressive moving average model (ARMA), a sentiment-ARMA is formulated by taking into consideration the information of financial news articles in the model. Then, an LSTM-based deep neural network is designed, which consists of three components: LSTM, VADER model and differential privacy (DP) mechanism. The proposed DP-LSTM scheme can reduce prediction errors and increase the robustness. Extensive experiments on S&P 500 stocks show that (i) the proposed DP-LSTM achieves 0.32% improvement in mean MPA of prediction result, and (ii) for the prediction of the market index S&P 500, we achieve up to 65.79% improvement in MSE.

연구 동기 및 목표

• 비정형 재무 뉴스를 주가 예측에 통합하는 데 도전하면서 주관적인 보도로 인한 편향을 최소화하는 것.
• 딥러닝 프레임워크에 뉴스 기사의 감성 분석을 통합하여 예측 정확도와 모델의 강건성을 향상시키는 것.
• LSTM 모델의 학습 과정에 차별적 개인정보 보호(DP)를 적용하여 과적합을 줄이고 일반화 능력을 향상시키는 것.
• ARMA 기반 시계열 모델링과 딥 네트워크를 융합한 하이브리드 모델을 개발하여 단기 주가 예측 성능을 향상시키는 것.

제안 방법

• 감성-ARMA 프레임워크를 사용하여 전통적인 ARMA를 재무 뉴스 기사에서 유도된 감성 점수를 통합함으로써 확장한다.
• 뉴스 헤드라인과 기사에서 감성의 극성과 강도를 모두 반영하기 위해 VADER 감성 분석 툴을 활용하여 복합 감성 점수를 추출한다.
• 세 구성 요소로 이루어진 딥 네트워크를 설계한다: 시퀀스 모델링을 위한 LSTM 레이어, 뉴스 입력을 위한 감성 인코더, 학습 중 노이즈 주입을 위한 차별적 개인정보 보호 메커니즘.
• 차별적 개인정보 보호는 기울기 또는 모델 파라미터에 라플라스 또는 가우시안 노이즈를 추가하여 개별 데이터 포인트를 보호하고 과적합을 줄이는 데 적용된다.
• 손실 함수는 평균 제곱 오차(MSE)이며, 대규모 재무 데이터에서의 효율적 학습을 위해 ADAM 최적화기로 최적화된다.
• 가격 척도가 서로 다른 주식을 고려하여 각 주식별로 별도로 학습되며, 통계적 신뢰성을 확보하기 위해 총 451회의 개별 실행 결과를 집계한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델에 재무 뉴스 감성 정보를 통합하면 단기 주가 예측 정확도가 향상되는가?
• RQ2 학습 과정에 차별적 개인정보 보호를 적용할 경우 주가 예측 모델의 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 감성-ARMA 모델링과 딥러닝을 융합할 경우 S&P 500 지수 예측 성능에 어느 정도 향상되는가?
• RQ4 정확도와 오차 감소 측면에서 DP-LSTM 모델이 표준 LSTM 및 뉴스만 입력으로 사용하는 LSTM보다 뛰어난가?
• RQ5 다양한 뉴스 소스에서 유도된 감성 점수의 포함이 재무 예측에서 모델의 안정성과 리스크 완화에 어떤 영향을 미치는가?

주요 결과

• DP-LSTM 모델은 뉴스 입력이 있는 표준 LSTM 대비 평균 예측 정확도(MPA)에서 0.32% 향상되어 정확도 향상을 입증한다.
• S&P 500 지수 예측에서 DP-LSTM은 뉴스가 포함된 기준 LSTM 대비 평균 제곱 오차(MSE)를 최대 65.79% 감소시켰다.
• 시각적 비교에서 DP-LSTM의 예측 결과는 뉴스 유무 여부에 관계없이 LSTM보다 실제 S&P 500 지수 가격 선에 더욱 가까이 위치해 있음을 확인했다.
• DP-LSTM의 평균 MPA는 0.98158으로, 뉴스가 포함된 LSTM(0.97837)과 뉴스가 없는 LSTM(0.97831)을 모두 초월하여 뛰어난 예측 성능을 보였다.
• 차별적 개인정보 보호의 적용으로 모델이 개별 데이터 포인트에 대한 민감도가 크게 감소하여, 노이즈가 많거나 편향된 뉴스 기사에 대한 강건성이 향상되었다.
• VADER에서 유도된 복합 감성 점수는 시간이 지남에 따라 중립에서 略음성 감성 추세를 보였으며, 이는 모델이 효과적으로 활용하여 예측 성능을 향상시켰다.