[논문 리뷰] A Comparison of LSTMs and Attention Mechanisms for Forecasting Financial Time Series

Thomas Hollis, Antoine Viscardi외 1명|arXiv (Cornell University)|2018. 12. 18.

Stock Market Forecasting Methods참고 문헌 17인용 수 23

한 줄 요약

이 논문은 캐글의 투 시그마 데이터셋을 사용하여 금융 시계열 예측을 위한 LSTM에 자기주의 메커니즘을 도입한 모델을 제안하고 평가한다. 자기주의를 통한 강화된 LSTM가 표준 LSTM보다 우수한 성능을 보이며, 다섯 종목에서 최대 60%의 정확도를 달성했지만 변동성이 더 높은 것으로 확인되어, 자기주의 메커니즘이 FTS의 장기적 의존성 문제를 개선함을 확인한다.

ABSTRACT

While LSTMs show increasingly promising results for forecasting Financial Time Series (FTS), this paper seeks to assess if attention mechanisms can further improve performance. The hypothesis is that attention can help prevent long-term dependencies experienced by LSTM models. To test this hypothesis, the main contribution of this paper is the implementation of an LSTM with attention. Both the benchmark LSTM and the LSTM with attention were compared and both achieved reasonable performances of up to 60% on five stocks from Kaggle's Two Sigma dataset. This comparative analysis demonstrates that an LSTM with attention can indeed outperform standalone LSTMs but further investigation is required as issues do arise with such model architectures.

연구 동기 및 목표

• 자기주의 메커니즘이 금융 시계열(FTS) 예측을 위한 장단기 기억(LSTM) 모델의 성능을 향상시킬 수 있는지 평가하는 것.
• 실제 금융 데이터에서 표준 LSTM과 자기주의를 통합한 LSTM을 구현하고 벤치마킹하는 것.
• 데이터 전처리 및 평가 전략(예: 윈도우 이동 및 원점 재조정)이 모델 성능에 미치는 영향을 조사하는 것.
• 단일 스텝 예측의 한계와 다중 스텝 예측을 위한 시퀀스-투-시퀀스(seq2seq) 모델링의 잠재력을 탐색하는 것.
• 자기주의 강화된 FTS 모델의 신뢰구간 통합 및 하이퍼파라미터 튜닝에서의 주요 과제를 규명하는 것.

제안 방법

• 모델 아키텍처는 단방향 LSTM과 스케일된 도트곱 자기주의 메커니즘을 조합하여 시간 단계 간 입력 특징을 동적으로 가중치를 부여한다.
• 자기주의 가중치는 LSTM의 은닉 상태에서 유도된 쿼리, 키, 밸류 행렬을 사용하여 계산되며, 맥락 기반 특징 집중을 가능하게 한다.
• 최종 예측은 쿼리와 키 벡터 간의 호환성에 따라 결정되는 가중치를 적용한 밸류의 가중 평균을 통해 계산된다.
• 모델은 캐글의 투 시그마 데이터셋에서 다섯 종목의 데이터를 사용하여 평균 제곱오차 손실과 Adam 최적화를 통해 엔드 투 엔드로 훈련된다.
• 성능 평가는 가격 방향 예측의 상승/하락 정확도를 기준으로 하며, -1에서 1 사이로 정규화된 tanh 활성화 함수를 통해 신뢰도 점수를 출력한다.
• 평가 전략으로는 시 thị계열의 변동성에 대응하기 위해 윈도우 이동 및 원점 재조정 기반의 복수 평가 방법을 적용하였다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 금융 시계열 예측에서 LSTMs의 성능을 향상시킬 수 있는가?
• RQ2 다양한 종목에서 자기주의를 통합한 LSTM은 표준 LSTM에 비해 예측 정확도에서 어떤 차이를 보이는가?
• RQ3 다양한 데이터 전처리 및 평가 전략(예: 원점 재조정 등)이 모델 성능 및 안정성에 어떤 영향을 미치는가?
• RQ4 자기주의 메커니즘이 FTS 예측에서 LSTMs의 장기적 의존성 문제를 어느 정도 완화하는가?
• RQ5 신뢰도 점수와 하이퍼파라미터 튜닝은 자기주의 강화된 모델의 실무적 활용도에 어떤 영향을 미치는가?

주요 결과

• 표준 LSTM은 다섯 종목에서 일관된 성능을 보이며 정확도 약 58%를 기록했으며, 이는 최신 기술 수준의 모델과 일치한다.
• 자기주의를 통합한 LSTM은 최대 60%의 정확도를 달성하여 기준 모델 대비 유의미한 향상을 보였다.
• 자기주의 강화 모델은 표준 LSTM에 비해 종목 간 성능 변동성이 더 높은 것으로 나타났다.
• 모델의 시퀀스-투-시퀀스 예측 능력은 반복적 다중 스텝 예측에서 흔히 발생하는 오차 누적 문제를 완화한다.
• 신뢰도 점수는 주요 정확도 지표에 통합되지 않아 실무 트레이딩에 응용할 때의 모델 구현에 여전히 격차가 있음을 시사한다.
• 두 모델 간 하이퍼파라미터 민감도에 차이가 있었으며, 향후 연구에서는 베이지안 최적화가 필수적임을 시사한다.