[论文解读] Autonomous AI Agents for Option Hedging: Enhancing Financial Stability through Shortfall Aware Reinforcement Learning

Minxuan Hu, Ziheng Chen+2 more|arXiv (Cornell University)|Feb 1, 2026

Risk and Portfolio Optimization被引用 0

一句话总结

本文提出两种短缺意识强化学习框架 Adaptive-QLBS 与 Replication Learning of Option Pricing (RLOP)，以在市场摩擦下提升对冲效果，在 SPY 与 XOP 期权中展示了尾部风险降低与交易成本下降。

ABSTRACT

The deployment of autonomous AI agents in derivatives markets has widened a practical gap between static model calibration and realized hedging outcomes. We introduce two reinforcement learning frameworks, a novel Replication Learning of Option Pricing (RLOP) approach and an adaptive extension of Q-learner in Black-Scholes (QLBS), that prioritize shortfall probability and align learning objectives with downside sensitive hedging. Using listed SPY and XOP options, we evaluate models using realized path delta hedging outcome distributions, shortfall probability, and tail risk measures such as Expected Shortfall. Empirically, RLOP reduces shortfall frequency in most slices and shows the clearest tail-risk improvements in stress, while implied volatility fit often favors parametric models yet poorly predicts after-cost hedging performance. This friction-aware RL framework supports a practical approach to autonomous derivatives risk management as AI-augmented trading systems scale.

研究动机与目标

• 解决衍生品市场定价校准与实际对冲表现之间的错位问题。
• 开发以最小化短缺概率而非复制误差为目标的强化学习框架。
• 将交易成本与市场摩擦纳入对冲决策过程。

提出的方法

• 将期权对冲建模为带有状态 X_t 与对冲动作 a_t 的马尔可夫决策过程（MDP），并结合自有资金约束与交易成本。
• 通过让价值函数适应 filtration、并为投资组合价值引入向后期的贴现结构，将 QLBS 扩展为 Adaptive-QLBS。
• 引入 Replication Learning of Option Pricing (RLOP)，一种前向、基于复制的 RL 方法，强调在到期时最小化短缺。
• 用神经网络（ResNet 风格）参数化对冲策略，并通过带基线的 REINFORCE 在模拟几何布朗运动路径上进行训练。
• 在考虑交易成本的 realized-path 分布上评估对冲表现，使用如 PnL 净额、短缺概率和期望损失（ES）等指标。

实验结果

研究问题

• RQ1 将短缺概率纳入 RL 奖励结构是否能在摩擦存在下提升对冲稳定性？
• RQ2 相对于参数模型（BS、JD、SV），Adaptive-QLBS 与 RLOP 在尾部风险与执行成本方面的表现如何？
• RQ3 在不同市场 regime 下，RL 基于对冲策略是否能在保持或提高下行保护的同时降低交易成本？

主要发现

• RLOP 在大多数分段中减少短缺发生频率，在压力条件下的尾部风险改进最为显著。
• Adaptive-QLBS 与 RLOP 显示基于 IVRMSE 的诊断偏好静态定价的参数模型，但 RL 策略在考虑成本后的 realized-path 对冲有所改善。
• RL 策略在相同的每日再平衡安排下，一致实现系统性的成本优势，降低交易周转率。
• 尾部风险分析（5%、10% 的 ES，以及短缺概率）表明 RL 方法，尤其是 RLOP，在高应力情景（如 2020Q1）下减少极端的成本后损失。
• QLBS 往往是以复制为导向的稳定因子，而 RLOP 在摩擦下强调可执行性与下行控制。