[論文レビュー] Transformers for Limit Order Books

James Wallbridge|arXiv (Cornell University)|Feb 29, 2020

Stock Market Forecasting Methods参考文献 40被引用数 6

ひとこと要約

本論文では、拡張された因果的畳み込み層とマスク付きマルチヘッド自己注意機構を組み合わせた、新しい深層学習アーキテクチャ「TransLOB」を提案する。このモデルは、因果的順序を保ちながら局所的特徴抽出と関係的文脈モデリングを可能にし、限界注文書（LOB）データから価格動向を予測する。FI-2010 LOBベンチマークにおいて、LSTM や CNN-LSTM、DeepLOB といった先行モデルを上回る最先端の性能を達成しており、特に長い予測ホライズン（例：k=20 で 88.12% の正確性）において顕著な優位性を示している。

ABSTRACT

We introduce a new deep learning architecture for predicting price movements from limit order books. This architecture uses a causal convolutional network for feature extraction in combination with masked self-attention to update features based on relevant contextual information. This architecture is shown to significantly outperform existing architectures such as those using convolutional networks (CNN) and Long-Short Term Memory (LSTM) establishing a new state-of-the-art benchmark for the FI-2010 dataset.

研究の動機と目的

• 手作業で特徴を設計するのではなく、手作業によるマーケット仮定に依存せずに、生の限界注文書データから関連する特徴を学習する深層学習モデルを開発すること。
• CNN や LSTM といった既存のアーキテクチャを改善するために、時系列 LOB データにおける局所的時間的特徴抽出と長距離の関係的依存性の両方を統合すること。
• 因果性と注意機構に強い誘導的バイアスを持つモデルを用いて、FI-2010 データセットにおける価格動向予測の新しい最先端ベンチマークを確立すること。
• 注目分布の分析を通じてモデルの解釈性を向上させ、予測に最も関連すると考える歴史的出来事についての洞察を提供すること。

提案手法

• 生のLOBデータから局所的時間的特徴を抽出するために、拡張率を段階的に増加させることで受容 field を拡大する、拡張された因果的畳み込み層を用いる。
• 抽出された特徴は、各クエリが過去のキーのみに注目するように設計された複数のマスク付きマルチヘッド自己注意ブロックで処理され、因果的構造が保たれる。
• 各トランスフォーマーブロック内に残差接続と層正則化を統合することで、学習の安定性と勾配の流れの改善を図る。
• 相対的な時間的位置を符号化するために位置埋め込みが使用され、注目機構が時間的距離を区別できるようにする。
• 二値分類のための標準的な交差エントロピー損失を用いて、エンドツーエンドでモデルを訓練する。
• 因果的マスク機構により、注目計算中に未来の情報が使用されないよう保証され、時間的整合性が維持される。

実験結果

リサーチクエスチョン

• RQ1 拡張された因果的畳み込みとマスク付き自己注意機構を組み合わせたハイブリッドアーキテクチャは、LSTM や CNN といった既存モデルを上回り、LOB データからの価格動向予測において優れた性能を発揮するか？
• RQ2 自己注意機構は、高次元的かつノイズの多いLOBシーケンスにおいて、時間的因果性を尊重しながらも、長距離の依存関係を効果的に捉えることができるか？
• RQ3 モデルの注目機構は、RNNベースのモデルと比較して、LOBデータ内の意味のある時間的パターンをどれほど効果的に特定することができるか？
• RQ4 提案されたアーキテクチャは、先行の最先端モデルと比較して、LOB予測タスクにおいて優れたサンプル効率と一般化性能を達成するか？
• RQ5 FI-2010 データセットにおいて、異なる予測ホライズン（k=10, 20, 50, 100）における性能はどのように変化するか？

主な発見

• 予測ホライズン k=10 において、TransLOB は 78.78% の正確性を達成し、以前の最先端モデルである C(TABL) の 73.74% や DeepLOB の 74.85% を大きく上回った。
• k=20 では、TransLOB が 88.12% の正確性を達成し、DeepLOB の 80.51% や C(TABL) の 79.87% を上回り、長い予測ホライズンでも優れた性能を示した。
• k=50 では、TransLOB が 91.62% の正確性に達し、予測ウィンドウが拡大しても安定しており、優れた長距離モデリング能力を示した。
• k=100 では、TransLOB が 91.61% の F1 スコアを維持し、予測ターゲットがより遠くにあっても安定性とスケーラビリティが確認された。
• 注目可視化により、複数のヘッドが最近のLOBイベントに注目していることが判明し、特にヘッド2番目と3番目が顕著であった。これは価格予測の直感的な期待と整合的であった。
• モデルは高いサンプル効率を示しており、FI-2010 データセットのサイズが限られている中でも、良好な一般化性能を示した。さらに、チューニングを重ねることで、より大きなデータセットへのスケーリングの可能性も示唆された。