[論文レビュー] Market making and incentives design in the presence of a dark pool: a deep reinforcement learning approach

Bastien Baldacci, Iuliia Manziuk+2 more|arXiv (Cornell University)|Dec 2, 2019

Stochastic processes and financial applications参考文献 15被引用数 8

ひとこと要約

本稿は、リットプールおよびダークプールを併用する取引所における市場メイカーの最適化とインcentive設計を最適化するための深層強化学習フレームワークを提案する。市場メイカーの最適注文配置をモデル化し、確率的制御と可視化解を用いて最適メイク・テイク手数料構造を導出する。ダークプールへのアクセスが在庫リスクを低減し、レイテンシに配慮した実行によってより良いリスク管理を可能にすることを示している。

ABSTRACT

We consider the issue of a market maker acting at the same time in the lit and dark pools of an exchange. The exchange wishes to establish a suitable make-take fees policy to attract transactions on its venues. We first solve the stochastic control problem of the market maker without the intervention of the exchange. Then we derive the equations defining the optimal contract to be set between the market maker and the exchange. This contract depends on the trading flows generated by the market maker's activity on the two venues. In both cases, we show existence and uniqueness, in the viscosity sense, of the solutions of the Hamilton-Jacobi-Bellman equations associated to the market maker and exchange's problems. We finally design deep reinforcement learning algorithms enabling us to approximate efficiently the optimal controls of the market maker and the optimal incentives to be provided by the exchange.

研究の動機と目的

• リットプールおよびダークプールの両方で同時に取引する流動性提供者の最適市場メイキング戦略をモデル化すること。
• 取引フローに基づいて、交換と市場メイカーの間の最適インcentive契約をプリンシパルエージェントフレームワークを用いて設計すること。
• 両取引所における非対称情報、レイテンシ効果、取引コストを考慮すること。
• 市場メイカーを引きつける一方で、悪質選択と在庫リスクを最小限に抑える最適メイク・テイク手数料構造を導出すること。
• ポリシー近似のための深層強化学習アルゴリズムを用いて理論的モデルを検証すること。

提案手法

• 在庫、価格、注文フローを含む状態変数を用いて、市場メイカーの問題を確率的制御問題として定式化する。
• 市場メイカーの価値関数に対するハミルトニアン・ジャコビ・ベルマン（HJB）方程式を導出し、可視化解の意味での存在および一意性を証明する。
• 取引フローに基づいて、交換と市場メイカーの間の最適契約を設計するためのプリンシパルエージェントモデルを導入する。
• アクター・クリティックアルゴリズムを用いた深層強化学習により、市場メイカーおよび交換の両方の最適制御ポリシーを近似する。
• 半ティックスプレッド、ダークプールにおける中央価格での価格設定、レイテンシ効果、取引コストを含む現実的な市場要因を組み込む。
• 可視化解理論を用いて、HJB方程式解析における数学的厳密性を保証する。

実験結果

リサーチクエスチョン

• RQ1 非対称情報とレイテンシが存在する状況下で、市場メイカーはリットプールとダークプールの間でどのように流動性を最適に割り当てるべきか？
• RQ2 市場メイカーが両取引所で流動性を提供するようにインセンティブを与えるために、交換はどのような最適メイク・テイク手数料構造を提示すべきか？
• RQ3 ダークプールの存在が、最適取引戦略下での市場メイカーの在庫リスクと利益にどのように影響を与えるか？
• RQ4 深層強化学習アルゴリズムは、この複雑なマルチベンチレッジ環境において、HJB方程式から導出された最適制御ポリシーを効果的に近似できるか？
• RQ5 リットプールとダークプール間の価格差異とレイテンシの影響が、最適実行とリスク管理に及ぼす影響は何か？

主な発見

• 最適市場メイキング戦略は、リットプールとダークプール間での動的割り当てを含み、ダークプールを在庫リスクのヘッジおよび市場インパクトの低減に用いる。
• ダークプールの存在により、市場メイカーは即時の価格インパクトを低減しながら、大規模な取引を実行できるようになる。
• 交換と市場メイカーの間の最適契約は、両取引所での取引フローに依存し、インcentiveを一致させるように手数料が調整される。
• 市場メイカーおよび交換の両方のHJB方程式は、一意な可視化解を有し、最適ポリシーの理論的整合性が保証される。
• 深層強化学習アルゴリズムは、最適制御を効果的に近似でき、高次元で連続的な状態空間におけるポリシー学習の実現可能性を示している。
• ダークプールにおけるレイテンシ効果は、時間的に変化する価格差異を生じさせ、これが最適実行タイミングと量の割り当てに影響を与える。