[論文レビュー] Multi-Horizon Forecasting for Limit Order Books: Novel Deep Learning Approaches and Hardware Acceleration using Intelligent Processing Units

Zihao Zhang, Stefan Zohren|arXiv (Cornell University)|May 21, 2021

Stock Market Forecasting MethodsDecision Sciences被引用数 18

ひとこと要約

本論文は、注意メカニズムを備えた深層学習ベースのエンコーダデコーダアーキテクチャを用いて、注文書の取引データ（LOB）に対する新しいマルチホライズン予測フレームワークを提案する。本手法は、最先端のモデルと比較して優れた長期予測性能を示し、GPUと比較して最大6.7倍高速なトレーニング時間を達成する。これは、インtellectual Processing Units（IPU）を用いることで実現され、高周波取引アプリケーションへの効率的で迅速な展開を可能にする。

ABSTRACT

We design multi-horizon forecasting models for limit order book (LOB) data by using deep learning techniques. Unlike standard structures where a single prediction is made, we adopt encoder-decoder models with sequence-to-sequence and Attention mechanisms to generate a forecasting path. Our methods achieve comparable performance to state-of-art algorithms at short prediction horizons. Importantly, they outperform when generating predictions over long horizons by leveraging the multi-horizon setup. Given that encoder-decoder models rely on recurrent neural layers, they generally suffer from slow training processes. To remedy this, we experiment with utilising novel hardware, so-called Intelligent Processing Units (IPUs) produced by Graphcore. IPUs are specifically designed for machine intelligence workload with the aim to speed up the computation process. We show that in our setup this leads to significantly faster training times when compared to training models with GPUs.

研究の動機と目的

• 高周波取引における注文書の取引データの単一時刻予測の限界を克服し、複数の時間ホライズンにわたる予測パスを可能にすること。
• 序列モデルにおける自己回帰的デコーディングを活用することで、長期予測性能を向上させること。
• 再帰的エンコーダデコーダモデルの遅いトレーニングを、インテリジェントプロセッシングユニット（IPU）を用いたハードウェアアクセラレーションで克服すること。
• IPUとGPUの間で、LOBデータに対する深層学習モデルのトレーニングにおける計算効率をベンチマークすること。
• このようなモデルが低遅延・高周波取引環境へのデプロイの可能性を検討すること。

提案手法

• LOBデータからマルチステップ予測を生成するために、序列モデル（Seq2Seq）と自己注意メカニズムを適応する。
• エンコーダーが生のLOBシーケンスから時系列特徴を抽出し、デコーダーが将来の価格動向を自己回帰的に予測する。
• 単一の時刻推定値を出力するのではなく、複数の時間ホライズンにわたる予測パスを出力するようにDeepLOBアーキテクチャを変更する。
• 各予測ステップで直前の出力を入力として使用する自己回帰的構造を採用し、長期予測の整合性を向上させる。
• Graphcore社のインテリジェントプロセッシングユニット（IPU）を活用し、機械学習ワークロードに最適化された大規模並列設計を活かしてトレーニングを加速する。
• FI-2010およびLSE LOBデータセット上で、複数のネットワークアーキテクチャを対象に、IPUとGPU（NVIDIA RTX 2080）の間でトレーニングベンチマークを実施する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを備えたエンコーダデコーダモデルは、マルチホライズンLOB予測において単一ステップ予測モデルを上回る性能を示せるか？
• RQ2 Seq2Seqモデルの自己回帰的構造は、単一時刻推定器と比較して長期予測の正確性を向上させるか？
• RQ3 IPUは、LOB予測に用いられる複雑な再帰的ニューラルネットワークのトレーニングをGPUと比較して顕著に高速化できるか？
• RQ4 提案されたマルチホライズンモデルは、標準的なLOBベンチマークにおいて最先端のモデルと比較してどのように性能を発揮するか？
• RQ5 高周波取引LOBデータに対する深層学習モデルのトレーニングにおいて、IPUをGPUと比較してどの程度計算効率が向上するか？

主な発見

• 提案されたDeepLOB-Attentionモデルは、FI-2010データセットで予測ホライズンk=20において65.51%のF1スコアを達成し、ベースラインのDeepLOBモデル（64.83% F1）を上回った。
• k=100においても60.00%のF1スコアを維持し、長期予測における堅牢性を示し、ベースラインと比較して0.26%の向上を達成した。
• IPUは、1エポックあたりの平均トレーニング時間をGPUと比較して最大85%短縮し、DeepLOB-AttentionではIPUが1エポック33秒、GPUが270秒を記録した。
• 最大のモデル（DeepLOB-Attention）において、IPUはGPUと比較して6.7倍の高速化を達成し、1エポックあたりのトレーニング時間を270秒から33秒に短縮した。
• マルチホライズン設定により、1つのネットワークで予測パスを生成でき、逐次的な単一ステップ予測による誤差蓄積を回避できた。
• トランスファーラーニングの実験では一貫した性能向上が確認され、DeepLOB-Attentionモデルは全テスト対象銘柄でk=20において65.51%のF1スコアを達成した。