[논문 리뷰] Benchmarking Deep Sequential Models on Volatility Predictions for Financial Time Series

Qiang Zhang, Rui Luo외 2명|arXiv (Cornell University)|2018. 11. 08.

Stock Market Forecasting Methods참고 문헌 50인용 수 5

한 줄 요약

이 논문은 2,018일 동안의 1,314개 일별 주가 시리즈를 사용하여 금융 변동성 예측에 대해 깊이 있는 순차 모델—특히 확장된 컨볼루션 및 순환 네트워크—를 벤치마킹한다. 확장된 신경망(TCN 및 DilatedRNN)이 전통적인 GARCH 및 스토하스틱 변동성 모델보다 유의미하게 뛰어난 성능을 보이며, 가장 낮은 음의 로그우도(NLL) 손실을 기록함으로써 변동성 예측에 있어 뛰어난 유연성과 표현 능력을 입증한다.

ABSTRACT

Volatility is a quantity of measurement for the price movements of stocks or options which indicates the uncertainty within financial markets. As an indicator of the level of risk or the degree of variation, volatility is important to analyse the financial market, and it is taken into consideration in various decision-making processes in financial activities. On the other hand, recent advancement in deep learning techniques has shown strong capabilities in modelling sequential data, such as speech and natural language. In this paper, we empirically study the applicability of the latest deep structures with respect to the volatility modelling problem, through which we aim to provide an empirical guidance for the theoretical analysis of the marriage between deep learning techniques and financial applications in the future. We examine both the traditional approaches and the deep sequential models on the task of volatility prediction, including the most recent variants of convolutional and recurrent networks, such as the dilated architecture. Accordingly, experiments with real-world stock price datasets are performed on a set of 1314 daily stock series for 2018 days of transaction. The evaluation and comparison are based on the negative log likelihood (NLL) of real-world stock price time series. The result shows that the dilated neural models, including dilated CNN and Dilated RNN, produce most accurate estimation and prediction, outperforming various widely-used deterministic models in the GARCH family and several recently proposed stochastic models. In addition, the high flexibility and rich expressive power are validated in this study.

연구 동기 및 목표

• 현대적인 딥 루프 시퀀셜 모델의 금융 변동성 예측 성능을 평가하는 것.
• GARCH 및 SV와 같은 전통적 변동성 모델과 비교하여 딥 러닝 아키텍처의 표현 능력과 유연성에 대한 비교 분석을 수행하는 것.
• 딥 러닝을 금융 시계열 모델링에 통합하기 위한 실증적 지침을 제공하는 것.
• 확장된 아키텍처가 변동성 역학의 장거리 의존성을 얼마나 잘 포착하는지 평가하는 것.

제안 방법

• 연구는 2,018개 거래일 동안의 1,314개 일별 주가 시계열 데이터를 사용한 벤치마킹 프레임워크를 적용한다.
• 딥 루프 시퀀셜 모델로는 시간 컨볼루션 네트워크(TCN), DilatedRNN, IndRNN, QRNN, SkipRNN, HM-RNN, FS-RNN, RHN 등이 포함되며, 모두 GRU 또는 LSTM 유닛 기반이다.
• 확장된 컨볼루션과 순환층은 확장 인자를 사용하여 파라미터 수를 늘리지 않고도 수감 영역을 확장한다.
• 모델 훈련은 ReLU 활성화 함수, Xavier 가중치 초기화, Adam 최적화, 드롭아웃, 기울기 클리핑, 학습률 감소 조정 기법을 사용한다.
• 성능 평가는 테스트 세트에서 1단계 앞선 변동성 예측의 음의 로그우도(NLL)를 기준으로 한다.
• 초기화된 하이퍼파라미터는 5개의 교차 검증을 통해 튜닝되며, 모든 모델은 단일 NVIDIA TITAN XP GPU에서 PyTorch로 구현된다.

실험 결과

연구 질문

• RQ1 확장된 딥 러닝 아키텍처가 전통적인 GARCH 및 스토하스틱 변동성 모델보다 변동성 예측에서 뛰어난 성능을 보일 수 있는가?
• RQ2 특히 확장된 CNN 및 RNN 모델들은 변동성 역학을 포착하는 데 어떻게 상호 비교되는가?
• RQ3 금융 시계열 변동성 모델링에서 컨볼루션 구조와 순환 구조의 상대적 기여도는 어떠한가?
• RQ4 확장된 아키텍처는 변동성 예측에서 장거리 의존성 모델링을 얼마나 향상시키는가?

주요 결과

• 특히 TCN 및 DilatedRNN를 포함한 확장된 신경망은 1,314개 주가 시리즈 전역에서 가장 낮은 음의 로그우도(NLL)를 기록하여 뛰어난 예측 정확도를 입증한다.
• TCN의 평균 NLL는 1.901로, EGARCH의 2.003과 GARCH의 2.084보다 유의미하게 낮아 일관된 슈퍼리어리티를 입증한다.
• TCN은 DilatedRNN를 포함한 모든 RNN 변종보다 뛰어난 성능을 보이며, 평균 NLL 1.901 대비 1.903을 기록함으로써 컨볼루션 레이어가 변동성 모델링에 더 효과적임을 시사한다.
• FS-RNN는 평균 NLL 2.451로 가장 열악한 성능을 보이며, 이 작업에 적합하지 않음을 시사한다.
• SkipRNN과 QRNN은 TCN 및 DilatedRNN에 비해 약간 열등한 성능를 보였지만 여전히 경쟁 가능했으며, 평균 NLL는 각각 1.925와 1.908이었다.
• 결과적으로 확장된 아키텍처가 금융 데이터의 복잡하고 시간에 따라 변하는 변동성 패턴을 모델링하는 데 있어 매우 높은 유연성과 표현 능력을 지닌다는 것이 검증되었다.