[论文解读] Dual and backward SDE representation for optimal control of non-Markovian SDEs

Marco Fuhrman, Huyên Pham|arXiv (Cornell University)|Oct 25, 2013

Stochastic processes and financial applications参考文献 21被引用 5

一句话总结

本文为具有路径相关系数且无椭圆性假设的非马尔可夫扩散过程的最优控制问题，建立了双重与倒向SDE表示。通过使用泊松随机测度对控制进行随机化，并在扩展概率空间上使用支配测度，将值函数表征为具有非正跳跃的倒向SDE的最小解——从而提供了一种路径相关、非马尔可夫版本的哈密顿-雅可比-贝尔曼方程。

ABSTRACT

We study optimal stochastic control problem for non-Markovian stochastic differential equations (SDEs) where the drift, diffusion coefficients, and gain functionals are path-dependent, and importantly we do not make any ellipticity assumption on the SDE. We develop a controls randomization approach, and prove that the value function can be reformulated under a family of dominated measures on an enlarged filtered probability space. This value function is then characterized by a backward SDE with nonpositive jumps under a single probability measure, which can be viewed as a path-dependent version of the Hamilton-Jacobi-Bellman equation, and an extension to $G$ expectation.

研究动机与目标

• 将最优控制的倒向SDE表示从马尔可夫情形推广至具有路径依赖系数的非马尔可夫SDE。
• 消除受控SDE中扩散系数的椭圆性或非退化性假设的需求。
• 在单一概率测度下，通过具有非正跳跃的BSDE，建立值函数的随机表示。
• 在一族支配测度下建立对偶控制公式，从而实现完全基于概率论的论证，无需依赖粘性解或HJB PDE唯一性。

提出的方法

• 通过使用具有固定有限强度的独立泊松随机测度，将控制过程随机化，替换为纯跳跃过程。
• 扩充概率空间以包含泊松随机测度，并通过改变泊松过程的强度测度，定义一族支配概率测度。
• 构建一个对偶控制问题，其中值函数表示为这些支配测度上的期望，从而实现控制问题的弱形式化。
• 将值函数表征为由布朗运动和泊松随机测度驱动的具有非正跳跃的倒向SDE的最小解。
• 利用最小非减过程强制执行非正跳跃约束，确保解与控制动态保持一致。
• 通过纯粹的概率论论证，证明原始值函数与BSDE解之间的等价性，避免依赖动态规划原理或粘性解理论。

实验结果

研究问题

• RQ1 在不假设扩散系数椭圆性的前提下，具有路径依赖系数的非马尔可夫受控SDE的值函数能否通过具有非正跳跃的倒向SDE表示？
• RQ2 如何通过泊松随机测度的控制随机化，在单一概率测度下重构最优控制问题，同时保持值函数不变？
• RQ3 支配测度在非马尔可夫设定下，如何实现值函数的对偶表示？
• RQ4 能否在不依赖动态规划原理或粘性解唯一性的情况下，建立值函数与BSDE解之间的联系？
• RQ5 在路径依赖SDE的背景下，如何用具有绝对连续补偿的纯跳跃过程近似连续控制过程？

主要发现

• 在单一概率测度下，非马尔可夫最优控制问题的值函数被表征为具有非正跳跃的倒向SDE的最小解。
• 该表示无需对扩散系数施加任何椭圆性或非退化性假设，将先前结果推广至更广泛的SDE类。
• 在支配测度族下的对偶公式允许值函数表示为一族等价测度上的期望，从而促进概率构造的实现。
• 值函数与BSDE解之间的联系通过概率论论证建立，无需依赖粘性解理论或HJB PDE唯一性。
• 控制随机化技术成功地将原始控制问题嵌入跳扩散框架，从而可应用标准BSDE工具。
• 具有非正跳跃的BSDE的最小解与值函数一致，为哈密顿-雅可比-贝尔曼方程提供了路径依赖的推广。