[論文レビュー] Reinforcement Learning in High-frequency Market Making

Yuheng Zheng, Zihan Ding|arXiv (Cornell University)|Jul 14, 2024

Innovation Diffusion and ForecastingDecision Sciences被引用数 3

ひとこと要約

本論文は、高頻度市場メイキングにおける強化学習（RL）の最初の包括的理論的分析を提供し、サンプリング周波数が上昇するにつれて離散時間RLアルゴリズムが連続時間モデルに収束することを確立している。時間刻みΔに関する学習誤差と計算複雑性のトレードオフを明らかにし、2人対戦の一般和ゲーム設定におけるナッシュ均衡の収束を証明している。

ABSTRACT

This paper establishes a new and comprehensive theoretical analysis for the application of reinforcement learning (RL) in high-frequency market making. We bridge the modern RL theory and the continuous-time statistical models in high-frequency financial economics. Different with most existing literature on methodological research about developing various RL methods for market making problem, our work is a pilot to provide the theoretical analysis. We target the effects of sampling frequency, and find an interesting tradeoff between error and complexity of RL algorithm when tweaking the values of the time increment $Δ$ $-$ as $Δ$ becomes smaller, the error will be smaller but the complexity will be larger. We also study the two-player case under the general-sum game framework and establish the convergence of Nash equilibrium to the continuous-time game equilibrium as $Δ ightarrow0$. The Nash Q-learning algorithm, which is an online multi-agent RL method, is applied to solve the equilibrium. Our theories are not only useful for practitioners to choose the sampling frequency, but also very general and applicable to other high-frequency financial decision making problems, e.g., optimal executions, as long as the time-discretization of a continuous-time markov decision process is adopted. Monte Carlo simulation evidence support all of our theories.

研究の動機と目的

• 強化学習（RL）を高頻度市場メイキングに適用するための厳密な理論的基盤を提供すること。ヒューリスティックな手法論的研究を超えること。
• 連続時間金融モデルにおけるRLアルゴリズムの正確さと計算複雑性に及ぼすサンプリング周波数（時間刻みΔ）の影響を分析すること。
• 複数のマーケットメイカーを含む競合的市場メイキングの状況に、ゲーム理論的フレームワークを用いて分析を拡張すること。
• Δ → 0 のとき、離散時間RL解（例：ナッシュQ学習）が連続時間解に理論的に収束することを確立すること。
• 誤差と計算コストのトレードオフに基づいて、実務家が最適なサンプリング周波数を選択するための実用的ガイダンスを提供すること。

提案手法

• 離散時間RLアルゴリズムの適用を可能にするために、時間刻みΔを用いた連続時間マーカフ連鎖意思決定過程（MDP）の時間離散化。
• 離散化MDPにおける最適市場メイキング方策の解法としてQ学習を単一エージェントRLに適用し、学習誤差に関する理論的バウンドを提示。
• マーケットメイカー間の競争を捉えるために2人対戦の一般和確率的ゲームモデルに拡張し、解法概念としてナッシュ均衡を採用。
• 離散化ゲーム設定におけるマルチエージェントRLのためのナッシュQ学習アルゴリズムの開発と理論的分析。
• モンテカルロシミュレーションを用いて理論的収束結果の妥当性を検証し、RLアルゴリズムの実証的性能を示す。
• 制御されたマーカフ連鎖理論と確率的近似を用いて、Δ → 0 のときの価値関数および方策の収束速度の理論的導出。

実験結果

リサーチクエスチョン

• RQ1 サンプリング周波数Δの選択が、RLベースの高頻度市場メイキングにおける学習誤差と計算複雑性にどのように影響するか？
• RQ2 Δ → 0 のとき、離散化されたRL解と真の連続時間最適方策との間の理論的関係は何か？
• RQ3 離散化された2人対戦ゲームのナッシュ均衡は、Δ → 0 のとき連続時間ゲームの均衡に収束するか？
• RQ4 ナッシュQ学習アルゴリズムは、マルチエージェント高頻度市場メイキング環境で均衡戦略を効果的に学習できるか？
• RQ5 単一エージェントおよびマルチエージェント設定において、サンプル複雑性および誤差の理論的バウンドはΔにどのように依存するか？

主な発見

• 学習誤差とアルゴリズム的複雑性の間にはトレードオフが存在する：Δを小さくする（サンプリング周波数を高くする）ほど学習誤差は減少するが、計算コストは増加する。
• 単一エージェント設定における価値関数誤差はΔ → 0 のときゼロに収束し、シミュレーションでは実効誤差が(0.09, 0.05)に低下した。
• ナッシュQ学習アルゴリズムにおける方策誤差はシミュレーションでゼロに達しており、真の均衡方策の正確な回復が示された。
• 離散化モデルからのナッシュ均衡戦略および価値関数の連続時間モデルへの収束は、実証的に検証された。|VΔ − V0| < 0.057 を満たした。
• 理論的分析により、離散時間ゲームのナッシュ均衡がΔ → 0 のとき連続時間ゲームの均衡に収束することが確認された。
• 提案されたフレームワークは、最適実行など、時間離散化された連続時間MDPを含む他の高頻度金融問題へ一般化可能である。