[论文解读] Convexity of a stochastic control functional related to importance sampling of Itô diffusions

Han Cheng Lie|arXiv (Cornell University)|Mar 18, 2016

Probability and Risk Models被引用 5

一句话总结

本文通过Kazamaki条件与Fredholm理论的二阶变分分析，建立了伊藤扩散过程重要性采样中出现的随机控制泛函的严格凸性。关键结果表明，在Hölder连续性和有界区域假设下，该控制泛函是严格凸的，从而可通过凸优化与蒙特卡洛方法实现维度无关的哈密顿-雅可比-贝尔曼方程求解。

ABSTRACT

We consider the problem of rare event importance sampling, where the random variable of interest is a path functional of an Itô diffusion computed up to the first exit from a $d$-dimensional bounded domain. Dupuis and Wang ( extit{Ann. Appl. Probab.}, 15 (2005), pp. 1-38) studied the importance sampling problem by formulating it as a stochastic optimal control problem, where the value function is related to the conditional cumulant generating function of the random variable. In this paper, we show that the sufficient conditions for the value function to be twice-differentiable and $α$-uniformly Hölder continuous on the closure of the domain are also sufficient conditions for positive definiteness of the second variation of the control functional on the space of differentiable, $α$-uniformly Hölder continuous $\mathbb{R}^d$-valued feedback controls. We derive an expression for the second variation using Kazamaki's sufficient condition for $L^q$-boundedness of exponential martingales, and using Fredholm theory to prove the finiteness of the moment generating function of the first exit time over any bounded interval containing the origin. The strict convexity result suggests that one may be able to solve the corresponding Hamilton-Jacobi-Bellman boundary value problem in a dimension-robust way, by combining convex optimisation and Monte Carlo methods. We apply the result to analyse a gradient descent algorithm proposed by Hartmann and Schütte ( extit{J. Stat. Mech. Theor. Exp.} (2012), P11004) for efficient rare event simulation.

研究动机与目标

• 建立随机控制泛函在罕见事件重要性采样中严格凸性的充分条件。
• 利用指数鞅有界性与Fredholm理论分析控制泛函的二阶变分。
• 将凸性结果与高维哈密顿-雅可比-贝尔曼（HJB）边值问题的可解性联系起来。
• 通过应用Hartmann与Schütte提出的用于罕见事件模拟的梯度下降算法，验证理论框架。
• 证明严格凸性可确保在有限维子空间中收敛至唯一极小化子，从而实现稳健的数值求解策略。

提出的方法

• 利用Kazamaki关于指数鞅L^q有界的充分条件，推导控制泛函的二阶变分。
• 应用Fredholm理论，证明包含零点的有界区间上首达时间矩生成函数的有限性。
• 在值函数一致Hölder连续的条件下，建立指数鞅的L^2有界性。
• 利用终端代价的确定性下界，确保二阶变分的正定性。
• 依赖Poincaré不等式，估计反馈控制有限维子空间中的近似误差。
• 将受限泛函的唯一极小化子与马尔可夫反馈控制子空间中的最佳逼近联系起来。

实验结果

研究问题

• RQ1 在何种条件下，伊藤扩散过程重要性采样中的随机控制泛函是严格凸的？
• RQ2 能否利用指数鞅理论显式表征控制泛函的二阶变分？
• RQ3 该泛函的严格凸性是否能确保梯度下降方法在有限维子空间中收敛至唯一极小化子？
• RQ4 该凸性结果如何实现HJB方程的维度无关求解？
• RQ5 反馈控制子空间的近似质量与HJB方程解的L^p误差之间存在何种关系？

主要发现

• 若值函数在有界C^{2,α}区域的闭包上为二阶可微且α-一致Hölder连续，则控制泛函是严格凸的。
• 由于终端代价存在确定性下界，二阶变分呈正定性，确保严格凸性与维度d无关。
• 首达时间矩生成函数在任意包含零点的有界区间上有限，由Fredholm理论与指数鞅的L^2有界性保证。
• 唯一均衡控制a_∞在马尔可夫反馈子空间中提供了最优控制的最佳逼近，其误差由Poincaré不等式界定。
• 通过结合凸优化与蒙特卡洛方法，可实现HJB边值问题的维度无关求解。
• 严格凸性结果确保在样本量趋于无穷与步长趋于零的极限下，梯度下降收敛至唯一极小化子。