[論文レビュー] Risk-Sensitive Compact Decision Trees for Autonomous Execution in Presence of Simulated Market Response

Svitlana Vyetrenko, Shaojie Xu|arXiv (Cornell University)|Jun 5, 2019

Stock Market Forecasting Methods参考文献 35被引用数 4

ひとこと要約

本稿では、限界注文書の市場における高ボリューム注文執行を最適化するため、コン pact な意思決定木を用いたリスクセンシティブ強化学習フレームワークを提案する。歴史的データから市場インパクトと他の参加者からの反応をモデル化したシミュレータでエージェントを訓練することで、実行コストを32%削減するとともに、コストの分散を27%増加させ、ベンチマーク戦略に比べてリスク調整後のパフォーマンスが向上することを示している。

ABSTRACT

We demonstrate an application of risk-sensitive reinforcement learning to optimizing execution in limit order book markets. We represent taking order execution decisions based on limit order book knowledge by a Markov Decision Process; and train a trading agent in a market simulator, which emulates multi-agent interaction by synthesizing market response to our agent's execution decisions from historical data. Due to market impact, executing high volume orders can incur significant cost. We learn trading signals from market microstructure in presence of simulated market response and derive explainable decision-tree-based execution policies using risk-sensitive Q-learning to minimize execution cost subject to constraints on cost variance.

研究の動機と目的

• 限界注文書市場におけるリスク調整後の実行コストを最小化する自律的なトレーディングエージェントの開発を目的とする。
• 歴史的注文フローに基づくデータ駆動型シミュレータを用いて、他の参加者からの市場インパクトと反応をモデル化する。
• リスクセンシティブQ学習から得られる解釈可能でコンパクトな意思決定木ポリシーを生成し、実世界への導入を可能にする。
• リスクセンシティブ強化学習を用いて、コスト削減とコストの分散のバランスを取る。
• 意思決定木ベースのエージェントのパフォーマンスを、TWAP や VWAP などの従来の非RLベンチマーク戦略と比較する。

提案手法

• 状態変数として限界注文書の特徴とエージェントのポジションを用いたマーカフ決定過程（MDP）として問題を定式化する。
• 市場シミュレータは、歴史的データから学習することで、複数エージェントの市場反応を合成し、攻撃的取引に対する他の参加者の反応を模倣する。
• リスクセンシティブQ学習を適用し、期待される実行コストとその分散の両方をペナルティ化するコスト関数を用いる。このペナルティはリスク感受性パラメータ β で制御される。
• 得られたQ値テーブルを、解釈可能性とコンパクトな表現のため、ハントのアルゴリズムを用いて意思決定木に変換する。
• 状態変数をビンに離散化して、テーブルベースのQ学習を可能にする。ビンの境界は、各状態にわたるサンプル分布のバランスをとるために選定される。
• フレームワークはシミュレーションで訓練および検証され、TWAP などの非RLベンチマーク戦略とパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 リスクセンシティブ強化学習は、限界注文書取引における実行コストとリスク調整後のパフォーマンスを改善できるか？
• RQ2 Q学習から導出された意思決定木ベースのポリシーは、TWAP や VWAP などの従来の実行戦略と比べてどのように異なるか？
• RQ3 シミュレートされた市場反応は、注文執行における実際の複数エージェント間相互作用をどの程度正確に反映できるか？
• RQ4 コンパクトで解釈可能な意思決定木は、強化学習で学習された複雑な実行ポリシーを効果的に表現できるか？
• RQ5 リスクセンシティブ学習下で、コスト削減とコスト分散のトレードオフはどのように現れるか？

主な発見

• RLベースの意思決定木エージェントは、非RLベンチマーク戦略に比べて32%の実行コスト削減を達成した。
• このコスト削減は、コストの標準偏差が27%増加したことに伴い、意図的なリスクトレードオフを示している。
• シミュレータは、歴史的データを用いて攻撃的取引に対する市場反応を効果的に再現し、現実的な複数エージェント間相互作用のモデル化を可能にした。
• 意思決定木ポリシーはコンパクトかつ解釈可能であり、アルゴリズム取引システムへの実用的導入に適していた。
• リスクセンシティブQ学習アプローチは、βパラメータを用いて、コスト最小化と分散制御の両方を効果的にバランスさせた。
• モデルフリーの強化学習と解釈可能なポリシー表現を組み合わせることで、インパクトに配慮した動的環境において、静的実行戦略を上回るパフォーマンスを達成できることを示した。