[论文解读] Multi-Horizon Forecasting for Limit Order Books: Novel Deep Learning Approaches and Hardware Acceleration using Intelligent Processing Units

Zihao Zhang, Stefan Zohren|arXiv (Cornell University)|May 21, 2021

Stock Market Forecasting Methods被引用 18

一句话总结

本文提出了一种基于深度学习编码器-解码器架构与注意力机制的新型多时域预测框架，用于限价单簿（LOB）数据。该方法在最先进的模型中展现出更优的长时域预测性能，并通过智能处理单元（IPUs）实现相较于GPU高达6.7倍的训练速度提升，使高频频交易应用中的高效部署成为可能。

ABSTRACT

We design multi-horizon forecasting models for limit order book (LOB) data by using deep learning techniques. Unlike standard structures where a single prediction is made, we adopt encoder-decoder models with sequence-to-sequence and Attention mechanisms to generate a forecasting path. Our methods achieve comparable performance to state-of-art algorithms at short prediction horizons. Importantly, they outperform when generating predictions over long horizons by leveraging the multi-horizon setup. Given that encoder-decoder models rely on recurrent neural layers, they generally suffer from slow training processes. To remedy this, we experiment with utilising novel hardware, so-called Intelligent Processing Units (IPUs) produced by Graphcore. IPUs are specifically designed for machine intelligence workload with the aim to speed up the computation process. We show that in our setup this leads to significantly faster training times when compared to training models with GPUs.

研究动机与目标

• 通过实现多时域路径预测，解决高频LOB预测中单点预测的局限性。
• 通过序列到序列模型中的自回归解码，提升长时域预测性能。
• 通过使用智能处理单元（IPUs）进行硬件加速，克服循环编码器-解码器模型训练缓慢的问题。
• 对IPUs与GPU在LOB数据上训练深度学习模型的计算效率进行基准测试。
• 探索在低延迟、高频交易环境中部署此类模型的可行性。

提出的方法

• 将序列到序列（Seq2Seq）与自注意力机制适配于从LOB数据生成多步预测。
• 使用编码器从原始LOB序列中提取时序特征，使用解码器自回归预测未来价格变动。
• 对DeepLOB架构进行修改，使其输出跨多个时间时域的预测路径，而非单一点估计。
• 采用自回归结构，使每一步预测均以先前输出作为输入，提升长时域预测的一致性。
• 利用Graphcore的智能处理单元（IPUs）加速训练，充分发挥其大规模并行设计在机器学习工作负载中的优势。
• 在FI-2010与LSE LOB数据集上，对IPU与GPU（NVIDIA RTX 2080）在多种网络架构下的训练过程进行对比基准测试。

实验结果

研究问题

• RQ1 基于注意力机制的编码器-解码器模型是否在多时域LOB预测中优于单步预测模型？
• RQ2 与单点估计器相比，Seq2Seq模型的自回归结构是否能提升长时域预测准确性？
• RQ3 与GPU相比，IPUs是否能显著加速LOB预测中使用的复杂循环神经网络的训练？
• RQ4 所提出的多时域模型在标准LOB基准测试中与SOTA模型相比表现如何？
• RQ5 在高频频LOB数据上训练深度学习模型时，使用IPUs相比GPU的计算效率提升如何？

主要发现

• 所提出的DeepLOB-Attention模型在FI-2010数据集上，于预测时域k=20时达到65.51%的F1分数，优于基线模型DeepLOB（64.83% F1）。
• 在k=100时，模型仍保持60.00%的F1分数，展现出在长时域预测中的稳健性，较基线模型提升0.26%。
• 与GPU相比，IPUs将每轮训练的平均时间减少高达85%，IPU实现每轮33秒，而GPU为270秒。
• 对于最大模型（DeepLOB-Attention），IPU实现6.7倍的加速，将每轮训练时间从270秒缩短至33秒。
• 多时域设置使单一网络能够生成预测路径，避免了顺序单步预测中的误差累积。
• 迁移学习实验表明性能持续提升，DeepLOB-Attention模型在所有测试标的中于k=20时均达到65.51%的F1分数。