[论文解读] Ergodic BSDEs driven by Markov Chains

Samuel N. Cohen, Ying Hu|arXiv (Cornell University)|Jul 24, 2012

Stochastic processes and financial applications参考文献 15被引用 4

一句话总结

该论文建立了在满足比较定理的Lipschitz驱动下，由均匀遍历的可数状态马尔可夫链驱动的遍历倒向随机微分方程（EBSDEs）的有界马尔可夫解的存在性与唯一性。关键贡献在于证明了底层链的均匀遍历性在速率矩阵的扰动下保持不变，从而通过耦合与分裂技术构造出EBSDE解，其应用涵盖风险规避的遍历控制问题。

ABSTRACT

We consider ergodic backward stochastic differential equations, in a setting where noise is generated by a countable state uniformly ergodic Markov chain. We show that for Lipschitz drivers such that a comparison theorem holds, these equations admit unique solutions. To obtain this result, we show by coupling and splitting techniques that uniform ergodicity estimates of Markov chains are robust to perturbations of the rate matrix, and that these perturbations correspond in a natural way to EBSDEs. We then consider applications of this theory to Markov decision problems with a risk-averse average reward criterion.

研究动机与目标

• 建立当噪声由均匀遍历的可数状态马尔可夫链生成时，遍历BSDEs（EBSDEs）的有界马尔可夫解的存在性与唯一性。
• 证明马尔可夫链的均匀遍历性估计在速率矩阵扰动下具有鲁棒性，此类扰动在EBSDEs中自然出现。
• 通过EBSDEs与非线性期望之间的联系，将EBSDEs理论扩展至非线性、风险规避控制问题。
• 提供一个框架，用于求解在风险规避条件下具有平均奖励准则的无限时域最优控制问题，采用具有平衡驱动函数的EBSDEs。

提出的方法

• 使用耦合与分裂技术（Nummelin分裂）分析马尔可夫链速率矩阵扰动下均匀遍历性的鲁棒性。
• 引入速率矩阵上的新型偏序关系，量化小扰动如何保持均匀遍历性，确保遍历性估计的稳定性。
• 应用折扣BSDE理论，推导出时间不变的马尔可夫解，其在时域趋于无穷时收敛至遍历极限。
• 构造一个驱动函数 f(x,z)，通过结合状态相关成本与速率矩阵的扰动，捕捉风险规避动力学，从而实现非线性期望建模。
• 利用BSDE的比较定理，在Lipschitz与平衡驱动条件下确保解的唯一性。
• 通过将EBSDE解应用于最优控制，将长期平均成本 λ 识别为解分量，价值函数则由驱动函数 f 导出。

实验结果

研究问题

• RQ1 在何种条件下，由均匀遍历马尔可夫链驱动的遍历BSDEs会存在唯一的有界马尔可夫解？
• RQ2 马尔可夫链的速率矩阵扰动如何影响其均匀遍历性，且这种鲁棒性能否被量化？
• RQ3 EBSDEs能否用于建模涉及多个可能速率矩阵上非线性期望的成本泛函的风险规避遍历控制问题？
• RQ4 EBSDE中的遍历成本 λ 与受控马尔可夫决策过程中的最优长期平均收益之间存在何种关系？

主要发现

• 当驱动函数为满足比较定理的Lipschitz函数时，由均匀遍历的可数状态马尔可夫链驱动的遍历BSDEs存在唯一的有界马尔可夫解。
• 底层马尔可夫链的均匀遍历性在速率矩阵的小扰动下保持不变，该结果通过速率矩阵的新型偏序关系得到量化。
• EBSDE中的遍历成本 λ 恰好对应于相关马尔可夫决策问题中的最优长期平均成本，从而可求解风险规避控制问题。
• EBSDE的解可通过单个非线性向量方程计算，在特定情况下具有显式可计算性。
• 该框架自然地容纳风险规避控制，通过一族矩阵对速率矩阵的不确定性进行建模，驱动函数 f 捕获这些矩阵上的最坏情况或非线性期望。
• 在平衡驱动下，该理论可推广至非线性期望，且在额外结构约束下，均匀遍历性假设可弱化为几何遍历性，理论依然稳健。