[论文解读] Market making and incentives design in the presence of a dark pool: a deep reinforcement learning approach

Bastien Baldacci, Iuliia Manziuk+2 more|arXiv (Cornell University)|Dec 2, 2019

Stochastic processes and financial applications参考文献 15被引用 8

一句话总结

本文提出了一种深度强化学习框架，用于优化同时拥有竞价盘和暗池的交易所的做市商策略与激励设计。该框架通过随机控制与粘性解方法，对做市商的最优订单挂单策略进行建模，并推导出最优的买卖价差结构，表明暗池接入可降低库存风险，并通过考虑延迟的执行方式实现更优的风险对冲。

ABSTRACT

We consider the issue of a market maker acting at the same time in the lit and dark pools of an exchange. The exchange wishes to establish a suitable make-take fees policy to attract transactions on its venues. We first solve the stochastic control problem of the market maker without the intervention of the exchange. Then we derive the equations defining the optimal contract to be set between the market maker and the exchange. This contract depends on the trading flows generated by the market maker's activity on the two venues. In both cases, we show existence and uniqueness, in the viscosity sense, of the solutions of the Hamilton-Jacobi-Bellman equations associated to the market maker and exchange's problems. We finally design deep reinforcement learning algorithms enabling us to approximate efficiently the optimal controls of the market maker and the optimal incentives to be provided by the exchange.

研究动机与目标

• 建模流动性提供者在同时参与竞价盘与暗池交易时的最优做市策略。
• 基于委托人-代理人框架，设计交易所与做市商之间的最优激励合约。
• 在两种交易场所中考虑信息不对称、延迟效应与交易成本。
• 推导出能吸引做市商参与同时最小化逆向选择与库存风险的最优买卖价差结构。
• 使用深度强化学习算法对策略近似进行理论模型验证。

提出的方法

• 将做市商问题建模为一个随机控制问题，状态变量包括库存、价格与订单流。
• 推导出做市商价值函数的哈密顿-雅可比-贝尔曼（HJB）方程，并在粘性解意义下证明其存在性与唯一性。
• 引入委托人-代理人模型，基于交易流量设计交易所与做市商之间的最优合约。
• 使用演员-评论家算法的深度强化学习方法，对做市商与交易所的最优控制策略进行近似。
• 整合现实市场特征：半档价差、暗池按中间价定价、延迟效应与交易成本。
• 采用粘性解理论，确保HJB方程分析的数学严谨性。

实验结果

研究问题

• RQ1 在信息不对称与延迟效应下，做市商应如何最优地在竞价盘与暗池之间分配流动性？
• RQ2 交易所应提供何种最优买卖价差结构，以激励做市商在两个交易场所提供流动性？
• RQ3 在最优交易策略下，暗池的存在如何影响做市商的库存风险与利润？
• RQ4 深度强化学习能否有效近似此复杂多场所环境下的HJB方程所导出的最优控制策略？
• RQ5 延迟效应与竞价盘与暗池间的价格差异对最优执行与风险管理有何影响？

主要发现

• 最优做市策略涉及在竞价盘与暗池之间进行动态分配，其中暗池用于对冲库存风险并降低市场冲击。
• 暗池的存在使做市商能够通过低即时价格冲击执行大额交易，从而降低库存风险。
• 交易所与做市商之间的最优合约取决于两个场所产生的交易流量，费用结构经校准后可对齐双方激励。
• 做市商与交易所的HJB方程均存在唯一的粘性解，确保了最优策略的理论一致性。
• 深度强化学习算法成功近似了最优控制策略，证明了在高维连续状态空间中策略学习的可行性。
• 暗池中的延迟效应导致价格差异随时间变化，进而影响最优执行时机与成交量分配。