[论文解读] Entropy-regularized penalization schemes and reflected BSDEs with singular generators

Daniel Chee, Noufel Frikha+1 more|arXiv (Cornell University)|Feb 20, 2026

Stochastic processes and financial applications被引用 0

一句话总结

引入用于连续时间最优停止的熵正则化惩罚方案，分析收敛到美式期权，并推导具有对数奇异驱动的极限反向BSDE。

ABSTRACT

This paper extends our previous work to continuous-time optimal stopping, focusing on American options in an exploratory setting. Our first contribution is an entropy-regularized penalization scheme, inspired by classical penalization techniques for reflected BSDEs. It yields a smooth approximation of the stopping rule, promotes exploration, and enables gradient-based learning methods. We prove well-posedness, convergence, and illustrate numerical performance in low-dimensional examples. Our second contribution analyzes the behaviour of the scheme as the penalization parameter grows, showing that the limit solves a reflected BSDE with a logarithmically singular generator, for which we establish existence and uniqueness via a monotone limit argument.

研究动机与目标

• 将熵正则化惩罚推广至探索性设定中的连续时间最优停止和美式期权。
• 在惩罚参数和温度参数变化时，建立正则化方案的良定性与收敛性。
• Develop a Policy Improvement Algorithm (PIA) tailored to the regularized framework.
• 分析惩罚参数趋向无穷大时的极限行为，并识别由此产生的奇异RBSDE。
• 提供数值说明并将该方案与最优停止的概率解释联系起来。

提出的方法

• 将熵正则化的BSDE建立以在放宽控制框架下近似Snell包络。
• 对最优控制采用Gibbs型表示并在固定截断n与温度λ下导出一个 Lipschitz 驱动。
• 证明熵正则化BSDE的良定性，并分析当λ→0时收敛到经典惩罚值V^n。
• 证明在λ不变且λ ln(n)→0时，V^{λ,n}收敛到经典的美式期权值V。
• 定义一个政策改进算法（PIA）在正则化框架内迭代改进策略并评估价值函数。
• 研究当n→∞时的极限以获得具有对数奇异驱动的反射BSDE，并通过单调极限论证建立存在性/唯一性。

实验结果

研究问题

• RQ1 熵正则化对探索性设定中的连续时间最优停止的正则性和可解性有何影响？
• RQ2 当惩罚和温度参数设定得当时，熵正则化方案是否收敛到经典的美式期权值？
• RQ3 当惩罚参数不断增大时，极限行为是什么，是否能将其表征为一个奇异的RBSDE？
• RQ4 是否可以在熵正则化框架中有效整合PIA以用于实际计算？
• RQ5 极限过程在探索与风险考量方面的概率解释会有哪些出现？

主要发现

• 熵正则化方案在固定n和λ时能得到一个带有 Lipschitz 驱动的良定性BSDE。
• 当λ→0且λ ln(n)→0时，V^{λ,n}收敛到经典的惩罚值V^n，并在合适的尺度下进一步收敛到美式期权值V。
• 随着n→∞的单调极限得到具有对数奇异驱动的反射BSDE，存在性/唯一性通过单调极限论证成立。
• 论文给出一个生成在正则化目标下单调增加的价值估计序列V^{λ,m} 的PIA。
• 数值实验展示了正则化方案和PIA在低维情形下的实际表现。
• 对极限奇异驱动进行了分析，结果给出一个将熵正则化与内生违约风险及早作权联系起来的概率解释。