[论文解读] Lyapunov Conditions for Differentiability of Markov Chain Expectations: the Absolutely Continuous Case

Chang Han Rhee, Peter W. Glynn|arXiv (Cornell University)|Jul 12, 2017

Markov Chains and Monte Carlo Methods参考文献 10被引用 3

一句话总结

本文建立了易于验证的李雅普诺夫型条件，可保证一般状态空间马尔可夫链的性能度量（如平稳分布和随机horizon折扣期望）关于底层参数的可微性。文中提供了导数的概率表示，使得无需依赖严格的矩条件或几何遍历性假设，即可实现实际计算与敏感性分析。

ABSTRACT

We consider a family of Markov chains whose transition dynamics are affected by model parameters. Understanding the parametric dependence of (complex) performance measures of such Markov chains is often of significant interest. The derivatives of the performance measures w.r.t. the parameters play important roles, for example, in numerical optimization of the performance measures, and quantification of the uncertainties in the performance measures when there are uncertainties in the parameters from the statistical estimation procedures. In this paper, we establish conditions that guarantee the differentiability of various types of intractable performance measures---such as the stationary and random horizon discounted performance measures---of general state space Markov chains and provide probabilistic representations for the derivatives.

研究动机与目标

• 为解决依赖于模型参数的复杂马尔可夫链性能度量的可微性问题，特别是在传统方法因限制性假设而失效的场景下。
• 为一般状态空间马尔可夫链中平稳分布和随机horizon折扣性能度量的可微性提供充分条件。
• 推导出适用于模拟与数值计算的导数的概率表示。
• 弱化先前的假设（尤其是关于矩条件和几何遍历性），从而扩大方法在更广泛模型类中的适用性。
• 通过在统计估计不确定性下支持梯度计算，为不确定性量化与优化提供支持。

提出的方法

• 推导出过渡核与性能函数的充分李雅普诺夫型条件，以确保期望关于参数θ的可微性。
• 通过引入参考马尔可夫链与扰动版本之间的耦合论证，控制参数变化下期望的差异。
• 应用鞅表示与截断技术，界定θ与θ+h下性能度量之间的差异。
• 引入加权Lp空间与算子范数空间（Lw, Lw, Mw），以保证算子在导数表示中的完备性与收敛性。
• 采用测度值微分框架，推导出导数的显式表示，其形式为涉及得分函数与性能泛函的期望。
• 证明导数可表示为包含似然比与性能增量的期望，从而支持基于模拟的估计。

实验结果

研究问题

• RQ1 在何种条件下，一般状态空间马尔可夫链的性能度量关于其底层参数是可微的？
• RQ2 平稳或随机horizon折扣性能度量的导数能否以适合模拟与计算的形式表示？
• RQ3 在缺乏几何遍历性的情况下，保证可微性所需的最小矩条件或遍历性假设是什么？
• RQ4 如何以概率方式表示导数，以实现参数估计误差下的不确定性量化与优化？
• RQ5 是否可利用模型构建模块验证可微性条件，而无需复杂验证长期路径行为？

主要发现

• 本文证明，即使在不假设有限指数矩或几何遍历性的情况下，性能度量的可微性仍可在易于验证的李雅普诺夫型条件下成立。
• 随机horizon折扣性能度量的导数在期望下为O(hx^p)阶，其界通过矩控制与截断技术导出。
• 平稳测度的导数表示为涉及得分函数与性能增量的期望，支持基于模拟的估计。
• 证明了加权算子空间Lw, Lw与Mw的完备性，确保逼近序列的收敛性与极限运算的有效性。
• 该方法避免了对停止时间有限指数矩或几何遍历性的强假设，显著扩大了适用范围。
• 结果支持在参数不确定性下构造性能度量的渐近置信区间，如德尔塔方法所形式化。