[论文解读] Deep Reinforcement Learning for Optimal Stopping with Application in Financial Engineering

Abderrahim Fathan, Erick Delage|arXiv (Cornell University)|May 19, 2021

Advanced Bandit Algorithms Research参考文献 25被引用 4

一句话总结

本文将深度强化学习（DRL）应用于金融工程中的最优停止问题，采用DDQN、C51和IQN算法学习美式期权的最优行权策略。在S&P 500数据上，C51的样本外收益率比基准高出8%，而IQN在Black-Scholes动态下能紧密匹配理论期权价格。

ABSTRACT

Optimal stopping is the problem of deciding the right time at which to take a particular action in a stochastic system, in order to maximize an expected reward. It has many applications in areas such as finance, healthcare, and statistics. In this paper, we employ deep Reinforcement Learning (RL) to learn optimal stopping policies in two financial engineering applications: namely option pricing, and optimal option exercise. We present for the first time a comprehensive empirical evaluation of the quality of optimal stopping policies identified by three state of the art deep RL algorithms: double deep Q-learning (DDQN), categorical distributional RL (C51), and Implicit Quantile Networks (IQN). In the case of option pricing, our findings indicate that in a theoretical Black-Schole environment, IQN successfully identifies nearly optimal prices. On the other hand, it is slightly outperformed by C51 when confronted to real stock data movements in a put option exercise problem that involves assets from the S&P500 index. More importantly, the C51 algorithm is able to identify an optimal stopping policy that achieves 8% more out-of-sample returns than the best of four natural benchmark policies. We conclude with a discussion of our findings which should pave the way for relevant future research.

研究动机与目标

• 评估最先进的深度强化学习算法在解决金融工程中最优停止问题中的表现。
• 比较DDQN、C51和IQN在市场波动下真实世界期权定价与行权场景中的性能。
• 确定DRL是否能在使用真实股票数据的样本外设置中超越经典模型（如二项树模型）。
• 探究不同DRL架构在计算成本、训练速度与性能之间的权衡。
• 探索超参数敏感性与训练策略，以提升在非平稳金融环境中的泛化能力。

提出的方法

• 通过集成长短期记忆（LSTM）网络，将三种深度强化学习算法——DDQN、C51和IQN——进行改进，以建模序列价格数据中的时间依赖性。
• 采用双重Q学习以减少动作价值函数近似中的过度估计偏差。
• 使用分层网络架构，分别估计状态值与动作优势，从而在高维动作空间中提升策略评估性能。
• 应用多步bootstrapping，以加速奖励传播，并在价值函数学习中平衡偏差-方差权衡。
• 在历史S&P 500股价数据上训练模型，使用验证集调优超参数，并使用测试集评估样本外性能。
• 通过历史波动率校准风险中性测度，以计算预期收益与期权支付指标。

实验结果

研究问题

• RQ1 深度强化学习算法能否在几何布朗运动下学习到近似最优的期权定价停止策略？
• RQ2 在真实S&P 500股价数据上，C51、IQN与DDQN在最优期权行权中的性能如何比较？
• RQ3 DRL在样本外期权行权收益方面，能在多大程度上超越经典基准模型（如二项树模型）？
• RQ4 在波动性高、非平稳的金融环境中，IQN、C51与DDQN在计算成本与泛化能力之间的权衡如何？
• RQ5 训练样本的时间顺序是否能提升非平稳市场中的样本外性能？

主要发现

• 在理论Black-Scholes环境中，IQN成功识别出接近最优的期权价格，表明其在受控环境中的强大性能。
• 在真实S&P 500数据上，C51优于所有四个自然基准策略，实现8%更高的样本外预期期权收益率（22.0% vs. 最佳基准14.0%）。
• C51在测试集上实现平均预期奖励0.0291，优于IQN（0.0285）与DDQN（0.0274），置信区间为1.6%。
• IQN表现出强大的数据拟合能力，但在高波动性或非马氏环境中易出现过拟合。
• DDQN的训练速度比IQN快1.2–1.5倍，比C51快2–4倍，尽管其在预期奖励与收益指标上均表现较差。
• IQN的内存消耗显著高于DDQN，凸显了性能与资源效率之间的关键权衡。