[論文レビュー] Deep Adaptive Input Normalization for Price Forecasting using Limit Order Book Data

Nikolaos Passalis, Anastasios Tefas+3 more|arXiv (Cornell University)|Jan 1, 2019

Stock Market Forecasting Methods被引用数 5

ひとこと要約

本稿では、深層学習モデルが非定常的かつマルチモーダルな分布を示す限界注文書時系列データを、エンドツーエンド微分可能な方法で学習可能に正規化するための深層アダプティブ入力正規化層を提案する。この手法により、データの非定常性とマルチモーダル性を動的に反映させることで、価格予測性能が向上する。本手法は大規模な金融時系列データセット上での深層学習モデルの精度を顕著に向上させる。

ABSTRACT

Deep Learning (DL) models can be used to tackle time series analysis tasks with great success. However, the performance of DL models can degenerate rapidly if the data are not appropriately normalized. This issue is even more apparent when DL is used for financial time series forecasting tasks, where the non-stationary and multimodal nature of the data pose significant challenges and severely affect the performance of DL models. In this work, a simple, yet effective, neural layer, that is capable of adaptively normalizing the input time series, while taking into account the distribution of the data, is proposed. The proposed layer is trained in an end-to-end fashion using back-propagation and can lead to significant performance improvements. The effectiveness of the proposed method is demonstrated using a large-scale limit order book dataset.

研究の動機と目的

• 非定常的かつマルチモーダルなデータ分布が原因で生じる深層学習モデルの性能低下を是正すること。
• トレーニング中に入力データ分布に適応可能な、トレーニング可能でニューラルネットワークと互換性のある正規化層を開発すること。
• 固定された前処理ではなく、正規化を深層学習パイプラインに直接統合することで、価格予測精度を向上させること。
• 実世界の大規模な限界注文書データセット上で、提案手法の有効性を示すこと。

提案手法

• 提案手法は、主な深層学習モデルの直前に挿入される学習可能な正規化層を導入し、入力特徴量の現在の分布に基づいて特徴量を調整する。
• トレーニング中はバッチ統計を用い、バックプロパゲーションにより適応することで、正規化プロセスのエンドツーエンド最適化を可能にする。
• チャネルごとまたは特徴量ごとの正規化を実施し、平均と分散を微分可能に調整することで勾配の流れを保持する。
• さまざまな時系列予測に用いられる深層学習アーキテクチャと互換性があり、軽量に設計されている。
• 予測モデルと同時に最適化されることで、特定のタスクに最適な正規化戦略をネットワークが学習可能になる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な正規化層は、非定常的かつマルチモーダルな金融時系列データにおける深層学習性能を向上させることができるか？
• RQ2 限界注文書価格予測において、適応的正規化は固定正規化手法よりも優れているか？
• RQ3 正規化のエンドツーエンド学習は、予測精度をどの程度向上させるか？
• RQ4 提案された正規化層は、金融予測に用いられるさまざまな深層学習アーキテクチャに一般化可能か？

主な発見

• 提案された適応的正規化層は、標準的な正規化手法と比較して、価格予測精度に顕著な向上効果を示した。
• 本手法は、限界注文書データの非定常的かつマルチモーダルな性質を効果的に処理し、分布シフトに対するモデルの感受性を低減した。
• 正規化層のエンドツーエンド学習により、一般化性能が向上し、より安定した学習ダイナミクスが得られた。
• 本手法は大規模な実世界の限界注文書データセット上で測定可能な向上を達成し、実用的価値を示した。