[논문 리뷰] Multi-Horizon Forecasting for Limit Order Books: Novel Deep Learning Approaches and Hardware Acceleration using Intelligent Processing Units

Zihao Zhang, Stefan Zohren|arXiv (Cornell University)|2021. 05. 21.

Stock Market Forecasting Methods인용 수 18

한 줄 요약

이 논문은 주로 주문서 데이터를 위한 딥러닝 기반 인코더-디코더 아키텍처와 어텐션 메커니즘을 사용한 새로운 다중 수평 예측 프레임워크를 제안한다. 이는 최신 기술 대비 뛰어난 장기 수평 예측 성능을 보이며, GPU 대비 지능형 처리 장치(IPU)를 사용할 경우 훈련 시간을 최대 6.7배 빠르게 만들어 고빈도 거래 응용 분야에서 효율적인 구현을 가능하게 한다.

ABSTRACT

We design multi-horizon forecasting models for limit order book (LOB) data by using deep learning techniques. Unlike standard structures where a single prediction is made, we adopt encoder-decoder models with sequence-to-sequence and Attention mechanisms to generate a forecasting path. Our methods achieve comparable performance to state-of-art algorithms at short prediction horizons. Importantly, they outperform when generating predictions over long horizons by leveraging the multi-horizon setup. Given that encoder-decoder models rely on recurrent neural layers, they generally suffer from slow training processes. To remedy this, we experiment with utilising novel hardware, so-called Intelligent Processing Units (IPUs) produced by Graphcore. IPUs are specifically designed for machine intelligence workload with the aim to speed up the computation process. We show that in our setup this leads to significantly faster training times when compared to training models with GPUs.

연구 동기 및 목표

• 고빈도 LOB 예측에서 단일 지점 예측의 한계를 해결하기 위해 다중 수평 경로 예측을 가능하게 하기 위해.
• 순차적 예측 모델의 자동재귀적 복원을 통해 장기 수평 예측 성능을 향상시키기 위해.
• 순환 인코더-디코더 모델의 느린 훈련 문제를 지능형 처리 장치(IPU)를 활용한 하드웨어 가속을 통해 해결하기 위해.
• LOB 데이터에서 딥러닝 모델을 훈련할 때 IPU와 GPU의 계산 효율성을 비교하기 위해.
• 이러한 모델이 저지연, 고빈도 거래 환경에 배포 가능한지 탐색하기 위해.

제안 방법

• 시퀀스-투-시퀀스(SEQ2SEQ) 및 자기 어텐션 메커니즘을 활용해 LOB 데이터에서 다단계 예측을 생성한다.
• 원시 LOB 시퀀스에서 시간적 특징을 추출하기 위해 인코더를 사용하고, 향후 가격 움직임을 자동재귀적으로 예측하기 위해 디코더를 사용한다.
• 단일 지점 추정치 대신 다중 시간 수평에 걸친 예측 경로를 출력하도록 DeepLOB 아키텍처를 수정한다.
• 각 예측 단계에서 이전 출력을 입력으로 사용하는 자동재귀적 구조를 활용하여 장기 수평 일致성 향상.
• 머신러닝 워크로드에 적합한 대량 병렬 설계를 활용해 딥러닝 훈련을 가속화하기 위해 Graphcore의 지능형 처리 장치(IPU)를 활용한다.
• FI-2010 및 LSE LOB 데이터셋에서 다양한 네트워크 아키텍처에 대해 IPU와 GPU(NVIDIA RTX 2080) 간의 비교 훈련 벤치마크를 실시한다.

실험 결과

연구 질문

• RQ1 어텐션 기반 인코더-디코더 모델은 다중 수평 LOB 예측에서 단일 단계 예측 모델보다 우수한 성능을 보일 수 있는가?
• RQ2 Seq2Seq 모델의 자동재귀적 구조는 단일 지점 추정기 대비 장기 수평 예측 정확도를 향상시키는가?
• RQ3 IPU는 GPU 대비 LOB 예측에 사용되는 복잡한 순환 신경망의 훈련을 상당히 가속화할 수 있는가?
• RQ4 제안된 다중 수평 모델은 표준 LOB 벤치마크에서 최신 기술 대비 성능이 뛰어나게 되는가?
• RQ5 고빈도 LOB 데이터에서 딥러닝 모델을 훈련할 때 IPU를 사용할 경우 GPU 대비 계산 효율성이 얼마나 향상되는가?

주요 결과

• 제안된 DeepLOB-Attention 모델은 FI-2010 데이터셋에서 예측 수평 k=20일 때 F1 스코어 65.51%를 기록하여 베이스라인 DeepLOB 모델(64.83% F1)을 초월한다.
• k=100일 때도 60.00% F1 스코어를 유지하여 장기 수평 예측에서 뛰어난 안정성을 입증하였으며, 베이스라인 대비 0.26% 향상된 성능을 기록한다.
• IPU는 평균 에포크 훈련 시간을 GPU 대비 최대 85% 감소시켰으며, DeepLOB-Attention의 경우 IPU는 33초/에포크, GPU는 270초/에포크를 기록한다.
• 가장 큰 모델(DepthLOB-Attention)에 대해 IPU는 훈련 시간을 270초에서 33초로 줄여 6.7배의 가속 성능를 달성한다.
• 다중 수평 설정을 통해 단일 네트워크가 예측 경로를 생성함으로써 순차적 단일 단계 예측에서 발생하는 오차 누적 문제를 방지할 수 있다.
• 전이 학습 실험 결과, 모든 테스트 자산에서 일관된 성능 향상을 보였으며, DeepLOB-Attention 모델은 k=20일 때 F1 스코어 65.51%를 기록했다.