[論文レビュー] Get Real: Realism Metrics for Robust Limit Order Book Market Simulations

Svitlana Vyetrenko, David R. Byrd+5 more|arXiv (Cornell University)|Dec 10, 2019

Complex Systems and Time Series Analysis参考文献 46被引用数 8

ひとこと要約

本稿は、限界価格注文簿（LOB）市場シミュレーションの妥当性を評価する包括的な現実性メトリクスを導入し、実市場データおよび2つのABIDESベースのシミュレーション設定に適用している。実際、高度なシミュレーションでさえも、ボラティリティクラスタリング、取引量-ボラティリティ相関、日内パターンといった主要なスタイライズドファクトを完全に再現できていないことが示され、シミュレーションの正確性を向上させるために学習可能なエージェントの導入が不可欠であることが示唆された。

ABSTRACT

Machine learning (especially reinforcement learning) methods for trading are increasingly reliant on simulation for agent training and testing. Furthermore, simulation is important for validation of hand-coded trading strategies and for testing hypotheses about market structure. A challenge, however, concerns the robustness of policies validated in simulation because the simulations lack fidelity. In fact, researchers have shown that many market simulation approaches fail to reproduce statistics and stylized facts seen in real markets. As a step towards addressing this we surveyed the literature to collect a set of reference metrics and applied them to real market data and simulation output. Our paper provides a comprehensive catalog of these metrics including mathematical formulations where appropriate. Our results show that there are still significant discrepancies between simulated markets and real ones. However, this work serves as a benchmark against which we can measure future improvement.

研究の動機と目的

• トレーニングおよび検証用に使用される限界価格注文簿（LOB）市場シミュレーションにおける正確性の欠如に対処すること。
• シミュレーションが再現すべき、実金融市場の主要なスタイライズドファクトを同定および分類すること。
• 実市場データから導出された実証的メトリクスを用いて、2つのABIDESベースのシミュレーション設定の現実性を評価すること。
• 実市場統計と比較してシミュレーションのパフォーマンスをベンチマーク化し、継続的な乖離を同定すること。
• ヘリングやボラティリティクラスタリングのような複雑な市場行動をよりよく再現するために、オンライン学習エージェントの統合を提言すること。

提案手法

• 著者らは、実際のLOBデータから観察された15のスタイライズドファクト（重尾分布のリターン、ボラティリティクラスタリング、日内取引量パターンなど）のカタログを整備した。
• これらのメトリクスを実市場データ（2019年6月のNASDAQ上場JPM）および2つのABIDESシミュレーション設定（ゼロインテリジェント（ZI）エージェントのみと、ZIエージェントに最小限の戦略的エージェントを追加した設定）に適用した。
• 分布の類似性を評価するためのKolmogorov-Smirnov検定と、時間的依存性を評価するための自己相関分析を用いて、シミュレートされた分布と実際の分布を統計的に比較した。
• メトリクスには、リターンの対数分布、リターンおよび二乗リターンの自己相関、取引量-ボラティリティ相関、注文間隔、日内取引量プロファイルが含まれた。
• 複数の時間スケール（1分間および10分間のインターバル）で評価を行い、カーネル密度推定および曲線フィッティング（例：ガンマ分布およびワイブル分布）を用いて統計的性質を分析した。
• シミュレート済みデータと実データの間の統計的比較を強固にするために、リサンプリング技術を用いた。

実験結果

リサーチクエスチョン

• RQ1 現在のLOBシミュレーションは、実金融市場の統計的性質をどの程度再現しているか？
• RQ2 重尾分布、ボラティリティクラスタリング、日内パターンといったスタイライズドファクトの中で、現在のシミュレーションフレームワークが最も不十分に再現しているのはどれか？
• RQ3 エージェント集団に最小限の戦略的行動を組み込むことで、完全にZIエージェントのみの設定と比較して、シミュレーションの現実性はどのように向上するか？
• RQ4 学習可能なエージェントは、ヘリングや長距離依存性のような複雑な市場ダイナミクスを再現するために果たす役割は何か？
• RQ5 標準化されたメトリクスのセットは、将来のLOBシミュレーション環境の評価および改善のベンチマークとして機能できるか？

主な発見

• ZIエージェントと混合エージェントを含むrmsc01設定は、純粋にZIのsparse_zi_100設定よりも、リターン分布の形状や二乗リターンの自己相関において、実市場統計をよりよく再現している。
• 両方のシミュレーションとも、実市場データで観察されるように、ラグ1におけるリターンの自己相関がゼロになるという、重要なスタイライズドファクトを再現できていない。
• rmsc01のシミュレートされた注文間隔は、ゼロに近い値に支配されており、実市場の注文間隔を記述するワイブル分布への適合が著しく悪い。
• rmsc01の日内取引量パターンでは、市場の開門時および終了時に活動が低下しており、実データで見られる典型的なU字型プロファイルとは逆転している。
• シミュレーションにおける取引量-ボラティリティ相関は、実市場と比較してより滑らかで変動が少なく、市場マイクロストラクチャのダイナミクスが不十分に再現されている。
• 本研究では、重尾分布と集積正規性が部分的に再現されていることが確認され、rmsc01はsparse_zi_100よりも歴史的データに近い。