[论文解读] Classical Adjoints for Ergodic Stochastic Control

Samuel N. Cohen, Victor Fedyashov|arXiv (Cornell University)|Nov 13, 2015

Stochastic processes and financial applications参考文献 9被引用 3

一句话总结

本文建立了无限时域伴随倒向随机微分方程（BSDE）解的存在性与遍历随机控制中受控扩散过程的强发散性之间的强对偶关系。证明了强发散性蕴含不可约性、强Feller性质以及指数遍历性，从而为在漂移和扩散系数均受控的强形式化设定下使用伴随BSDE来刻画最优性提供了理论依据。

ABSTRACT

In this paper we consider ergodic optimal control of a diffusion process $\{X^u_t\}_{t \geq 0}$, taking values in $\bR^n$, where both drift and volatility are controlled. We establish a novel strong duality between the existence of a unique solution to the infinite horizon adjoint BSDE and strong dissipativity of $X^u$. We then proceed to show that the latter implies irreducibility, the strong Feller property and exponential ergodicity. We conclude by discussing the connection with ergodic BSDEs.

研究动机与目标

• 针对漂移和扩散系数均受控的遍历随机控制问题，突破基于测度变换的弱形式化设定。
• 建立无限时域伴随BSDE可解性与前向过程遍历性质之间的严格联系。
• 证明漂移的强发散性可保证受控扩散过程的不可约性、强Feller性质及指数遍历性。
• 证明伴随BSDE方法在强形式化设定下依然有效，即使控制同时作用于漂移和扩散系数。
• 阐明在强控制设定下标准遍历BSDE的局限性，并说明为何其无法捕捉完整的最优性条件（当扩散系数受控时）。

提出的方法

• 提出一种新颖的无限时域伴随BSDE，源自随机最大值原理框架。
• 引入漂移的强发散性条件：⟨b(t,x,u)−b(t,y,u),x−y⟩ ≤ −μ‖x−y‖²，其中 μ>0。
• 应用Grönwall引理与稳定性估计，建立受控前向过程的矩界。
• 通过对偶关系将伴随BSDE解的存在性与前向过程的遍历性联系起来。
• 采用消失折扣法构造遍历BSDE的解，并将其与长期平均成本关联。
• 引入周期性假设（假设5），以确保不变测度的存在性，并将遍历平均值λᵘ识别为长期成本。

实验结果

研究问题

• RQ1 当漂移和扩散系数均受控时，伴随BSDE在何种条件下存在？
• RQ2 伴随BSDE的可解性与前向扩散过程的遍历性质之间存在何种关系？
• RQ3 在一般控制设定下，漂移的强发散性是否可推出指数遍历性、不可约性与强Feller性质？
• RQ4 为何在扩散系数受控时，标准遍历BSDE方法不足？
• RQ5 伴随BSDE的解与遍历控制问题中的长期平均成本之间存在何种联系？

主要发现

• 无限时域伴随BSDE解的存在性，等价于在所有控制下前向过程的强发散性。
• 强发散性意味着受控扩散过程具有不可约性，并满足强Feller性质。
• 强发散性导致指数遍历性，即过程的有限时间分布以指数速率收敛至其不变测度。
• 在周期性假设下，长期平均成本λᵘ（即遍历控制问题的最优值）等于遍历BSDE的解λᵘ。
• 伴随BSDE方法在强形式化设定下依然有效，即使扩散系数受控，而这是弱形式化（基于测度变换）所不具备的。
• 本文表明，当漂移与扩散系数均受控时，仅靠遍历BSDE无法捕捉完整的最优性条件，原因在于扩散系数受控时缺乏鞅表示性质。