[논문 리뷰] Investigation Into The Effectiveness Of Long Short Term Memory Networks For Stock Price Prediction

Hengjian Jia|arXiv (Cornell University)|2016. 03. 25.

Stock Market Forecasting Methods참고 문헌 4인용 수 63

한 줄 요약

이 연구는 2005–2015년 기간 동안의 구글 주식 데이터를 활용하여 주가 예측을 위한 장단기 기억(LSTM) 네트워크를 평가한다. 점진적 사전학습 전략과 슬라이딩 윈도우, ADAM 최적화를 적용한 결과, 3층, 250개 유닛을 갖는 LSTM에서 테스트 RMSE가 0.0105로 가장 낮아졌으며, 변화 없음 기준선(RMSE 0.0265)을 능가하는 성능을 보였다.

ABSTRACT

The effectiveness of long short term memory networks trained by backpropagation through time for stock price prediction is explored in this paper. A range of different architecture LSTM networks are constructed trained and tested.

연구 동기 및 목표

• 시계열 데이터를 활용해 LSTMs의 주가 변동 예측 효과성을 평가하는 것.
• 더 깊고 넓은 LSTMs 아키텍처가 간단한 모델 대비 예측 정확도를 향상시키는지 조사하는 것.
• 슬라이딩 윈도우를 활용한 새로운 점진적 사전학습 전략이 모델 수렴성과 성능에 미치는 영향을 평가하는 것.
• 예측 유용성을 확인하기 위해 LSTMs 성능을 단순한 변화 없음 기준선 모델과 비교하는 것.
• 학습 샘플 수 대비 높은 파라미터 수를 가짐에도 불구하고 LSTMs의 오버피팅에 대한 저항력이 있는지 검토하는 것.

제안 방법

• 정규화된 일일 주가 수익률(시가, 고가, 저가, 종가, 거래량)을 기반으로 1~3층의 히든 레이어와 다양한 크기(50~500개 유닛)를 갖는 LSTM 네트워크를 훈련한다.
• 입력 시계열은 슬라이딩 윈도우 방식으로 생성되며, 길이 2에서 시작하여 256까지 두 배씩 증가시켜 점진적 사전학습을 수행한다.
• 모델은 하드 시그모이드 게이트와 탄젠트 활성화 함수를 사용하며, 가중치 초기화에 SVD를 활용해 안정적인 히든 상태 역학을 확보한다.
• 기억 게이트 바이어스는 1로, 나머지 바이어스는 0으로 초기화하여 장기 의존성 학습을 촉진한다.
• 스케일을 줄이고 훈련 안정성을 향상시키기 위해 데이터를 일일 수익률로 정규화한다: $ \hat{x}_t = \frac{x_t}{x_{t-1}} - 1 $.
• 기본 초모수를 사용하고 고정된 배치 크기 20개의 시퀀스를 배치로 사용하는 ADAM 최적화기를 사용한다.

실험 결과

연구 질문

• RQ1 LSTMs는 주가 시계열의 시간적 패턴을 효과적으로 학습하여 정확한 예측을 수행할 수 있는가?
• RQ2 LSTM 기반 주가 예측에서 네트워크의 깊이와 너비는 성능에 어떤 영향을 미치는가?
• RQ3 증가하는 시퀀스 길이를 갖는 슬라이딩 윈도우를 활용한 점진적 사전학습 전략이 모델 수렴성과 최종 정확도를 향상시키는가?
• RQ4 RMSE 기준으로 LSTMs 성능은 단순한 변화 없음 기준선 모델과 비교해 어떻게 나타나는가?
• RQ5 학습 샘플 수 대비 높은 파라미터 수를 가짐에도 불구하고 모델은 오버피팅에 저항력이 있는가?

주요 결과

• 3층, 250개 유닛을 갖는 LSTM이 테스트 RMSE 0.0105를 기록하여 강력한 예측 성능을 보였다.
• 변화 없음 기준선(RMSE 0.0265)보다 지속적으로 뛰어난 성능을 보여, 학습된 예측 능력이 확인되었다.
• 네트워크의 깊이와 너비를 늘일수록 일반적으로 성능 향상이 있었으며, 3층, 250개 유닛 구성에서 최고의 결과를 냈다.
• 길이 2에서 256까지 증가하는 슬라이딩 윈도우를 활용한 점진적 사전학습 전략이 훈련 안정성과 수렴성을 향상시켰다.
• 학습 샘플 수 대비 높은 파라미터 수를 가짐에도 불구하고, 다양한 아키텍처에서 일관된 성능을 보여 오버피팅에 대한 저항력이 있음을 입증했다.
• 최고 성능을 낸 모델(3층, 250개 유닛)은 기준선 대비 RMSE를 58.5% 감소시켜 뚜렷한 예측 우위를 확보했다.