[论文解读] Deep Hedging: Learning to Remove the Drift under Trading Frictions with Minimal Equivalent Near-Martingale Measures

Hans Buehler, Phillip Murray+2 more|arXiv (Cornell University)|Nov 15, 2021

Stock Market Forecasting Methods被引用 9

一句话总结

该论文提出了一种机器学习方法，用于在存在交易摩擦的市场模拟器中构建最小等价近鞅测度，通过消除统计套利漂移，实现鲁棒的深度对冲。通过基于效用的风险中性密度估计，该方法确保对冲策略仅关注风险管理，而非利用模型漂移，显著提升了对估计误差的鲁棒性。

ABSTRACT

We present a machine learning approach for finding minimal equivalent martingale measures for markets simulators of tradable instruments, e.g. for a spot price and options written on the same underlying. We extend our results to markets with frictions, in which case we find "near-martingale measures" under which the prices of hedging instruments are martingales within their bid/ask spread. By removing the drift, we are then able to learn using Deep Hedging a "clean" hedge for an exotic payoff which is not polluted by the trading strategy trying to make money from statistical arbitrage opportunities. We correspondingly highlight the robustness of this hedge vs estimation error of the original market simulator. We discuss applications to two market simulators.

研究动机与目标

• 解决市场模拟器中的统计套利问题，该问题通过引入与漂移相关的投机行为污染了深度对冲策略。
• 开发一种模型无关的方法，用于在交易成本下构建等价近鞅测度，确保纯交易策略无正期望收益。
• 通过在隔离了统计漂移投机行为的纯粹对冲行为的风险中性测度下训练，提升深度对冲策略的鲁棒性。
• 通过提供一种数据驱动的、基于效用的方法推导风险中性动态，使深度对冲可应用于如GAN或VAE等黑箱模拟器。
• 证明在所推导的近鞅测度下训练的对冲策略对底层市场模拟器的微小扰动具有不变性，从而增强其在现实世界中的可部署性。

提出的方法

• 该方法使用基于效用的优化，在统计测度 $\mathbb{P}$ 下计算最优交易策略 $a^*$ 和现金头寸 $y^*$，以最大化净成本后的终端财富期望效用。
• 通过 Radon-Nikodym 导数 $\frac{d\mathbb{Q}^*}{d\mathbb{P}} := u'(y^* + \sum_t a^*_t \cdot DH_t - m_t(a^*_t))$ 定义新测度 $\mathbb{Q}^*$，其中 $m_t$ 为交易的边际成本。
• 在 $\mathbb{Q}^*$ 下，任何交易策略的条件期望收益受交易成本约束，确保在存在摩擦时无统计套利。
• 在无交易成本时，$\mathbb{Q}^*$ 成为等价鞅测度；在有摩擦时，其为相对于 $\tilde{u}$-散度的最小等价近鞅测度。
• 该方法为模型无关，适用于任何市场模拟器——特别是GAN或VAE等黑箱模型——其生成的路径不包含经典套利。
• 该方法使深度对冲智能体可在 $\mathbb{Q}^*$ 下训练，从而生成仅对冲衍生品风险、而非统计漂移的策略。

实验结果

研究问题

• RQ1 能否基于机器学习方法为存在交易摩擦的市场模拟器构建最小等价近鞅测度？
• RQ2 如何从模拟市场数据中消除统计套利，以提升深度对冲策略的鲁棒性？
• RQ3 在通过效用最大化推导出风险中性测度下训练深度对冲策略，能在多大程度上降低对收益动态估计误差的敏感性？
• RQ4 所得到的近鞅测度是否在消除基于漂移的投机行为的同时，仍能保持如GAN模型等复杂市场模拟器的真实性？
• RQ5 当真实市场分布与模拟器分布略有偏差时，基于 $\mathbb{Q}^*$ 训练的深度对冲策略与基于 $\mathbb{P}$ 训练的策略相比，性能如何？

主要发现

• 在所推导的 $\mathbb{Q}^*$ 测度下训练的深度对冲策略，其盈亏分布显著减轻厚尾现象，表明对模型漂移的风险暴露更低。
• 在去除统计套利成分后，$\mathbb{Q}^*$-训练策略与 $\mathbb{P}$-训练策略的盈亏分布趋于一致，证实漂移成分已被成功隔离并消除。
• 在真实市场测度 $\tilde{\mathbb{P}}$ 受相对熵 $H(\tilde{\mathbb{P}}|\mathbb{P}) \leq c$ 的扰动下，$\mathbb{Q}^*$-训练策略的盈亏几乎保持不变，即使 $c = 0.5$ 时亦然，而 $\mathbb{P}$-训练策略的性能显著下降。
• 该方法确保在 $\mathbb{Q}^*$ 下无任何交易策略能获得正期望收益，满足在买卖价差下的近鞅条件，从而彻底消除统计套利。
• 所构建的 $\mathbb{Q}^*$ 是相对于 $\tilde{u}$-散度的所有等价（近）鞅测度中最小的，从信息论角度确保了最优性。
• 该框架适用于如GAN和VAE等黑箱模拟器，实现无需显式模型动态的风险中性深度对冲。