[论文解读] A penalty scheme and policy iteration for nonlocal HJB variational inequalities with monotone drivers

Christoph Reisinger, Yufei Zhang|arXiv (Cornell University)|May 16, 2018

Stochastic processes and financial applications参考文献 22被引用 3

一句话总结

本文提出了一种惩罚方案与策略迭代方法，用于求解具有单调驱动项的非局部汉密尔顿-雅可比-贝尔曼变分不等式（HJBVIs），利用半隐式单调的离散化方法与一种新颖的收敛性分析。该方法建立了惩罚方案收敛至真实解的理论结果，并给出了显式的误差界；同时提出了一种高效的迭代算法，可对离散方程实现局部超线性收敛。

ABSTRACT

We propose a class of numerical schemes for nonlocal HJB variational inequalities (HJBVIs) with monotone drivers. The solution and free boundary of the HJBVI are constructed from a sequence of penalized equations, for which a continuous dependence result is derived and the penalization error is estimated. The penalized equation is then discretized by a class of semi-implicit monotone approximations. We present a novel analysis technique for the well-posedness of the discrete equation, and demonstrate the convergence of the scheme, which subsequently gives a constructive proof for the existence of a solution to the penalized equation and variational inequality. We further propose an efficient iterative algorithm with local superlinear convergence for solving the discrete equation. Numerical experiments are presented for an optimal investment problem under ambiguity and a recursive consumption-portfolio allocation problem.

研究动机与目标

• 开发一种针对具有单调驱动项（可能非弗雷chet可微）的非局部HJB变分不等式（HJBVIs）的鲁棒数值格式。
• 解决现有数值方法在覆盖此类HJBVIs全部一般性方面的不足，特别是针对非利普希茨连续与非光滑驱动项的情形。
• 通过惩罚法与离散逼近，构建解存在的构造性证明。
• 设计一种高效的迭代算法，实现对由该方案产生的离散方程的局部超线性收敛求解。
• 提供与惩罚参数无关的显式收敛速率与连续依赖性估计。

提出的方法

• 为HJBVI构造一种惩罚逼近，将变分不等式转化为一系列具有单调驱动项的惩罚方程序列。
• 为惩罚方程推导出连续依赖性估计，确保当惩罚参数趋于无穷时的稳定性与收敛性。
• 对惩罚方程应用半隐式单调的有限差分逼近，其稳定性条件与惩罚参数无关。
• 引入一种新颖的分析技术，以在无限维设定下建立离散方程的适定性。
• 提出一种基于策略迭代的迭代算法，利用半光滑牛顿法实现局部超线性收敛。
• 在模糊性下的最优投资与递归消费-投资组合配置问题上对方案进行了数值验证。

实验结果

研究问题

• RQ1 能否为具有单调驱动项的非局部HJBVIs构造一种惩罚方案，以确保收敛至真实解并给出显式的误差界？
• RQ2 当驱动项为非利普希茨连续且非弗雷chet可微时，如何在无限维设定下建立离散格式的适定性？
• RQ3 惩罚解收敛至真实解的收敛速率如何？其依赖于障碍项的正则性程度如何？
• RQ4 能否设计一种高效迭代算法，即使在驱动项非光滑且跳跃算子具有非线性时，仍能对离散方程实现局部超线性收敛？
• RQ5 如何通过惩罚法构造性且一致地逼近HJBVI的自由边界？

主要发现

• 惩罚方程单调地从下方收敛至原始HJBVI的解，其收敛速率显式依赖于障碍项的正则性。
• 为惩罚方程导出了与惩罚参数无关的连续依赖性估计，确保了方法的鲁棒性。
• 通过一种新颖的分析技术，证明了即使在非利普希茨与非光滑驱动项下，离散格式在无限维设定下仍具有适定性。
• 基于策略迭代的迭代算法表现出局部超线性收敛，显著提升了计算效率。
• 该方案在不依赖惩罚参数的稳定性条件下实现稳定与收敛，支持鲁棒的数值实现。
• 数值实验验证了该方法在最优投资与递归投资组合问题上的有效性，证实了理论收敛性与误差估计的正确性。