[論文レビュー] Lyapunov Conditions for Differentiability of Markov Chain Expectations: the Absolutely Continuous Case

Chang Han Rhee, Peter W. Glynn|arXiv (Cornell University)|Jul 12, 2017

Markov Chains and Monte Carlo Methods参考文献 10被引用数 3

ひとこと要約

本稿は、一般状態空間マルコフ連鎖の性能指標（定常分布やランダムホライズン割引期待値など）が基本パラメータに関して微分可能であることを保証する、容易に検証可能なリャプノフ型条件を確立する。また、導関数の確率的表現を提供することで、制限的なモーメント条件や幾何的エルゴード性の仮定を必要とせずに、実用的な計算と感度解析を可能にする。

ABSTRACT

We consider a family of Markov chains whose transition dynamics are affected by model parameters. Understanding the parametric dependence of (complex) performance measures of such Markov chains is often of significant interest. The derivatives of the performance measures w.r.t. the parameters play important roles, for example, in numerical optimization of the performance measures, and quantification of the uncertainties in the performance measures when there are uncertainties in the parameters from the statistical estimation procedures. In this paper, we establish conditions that guarantee the differentiability of various types of intractable performance measures---such as the stationary and random horizon discounted performance measures---of general state space Markov chains and provide probabilistic representations for the derivatives.

研究の動機と目的

• 従来の方法が制限的な仮定によって失敗する状況においても、モデルパラメータに依存する複雑な性能指標の微分を扱う課題に取り組むこと。
• 一般状態空間マルコフ連鎖における定常分布およびランダムホライズン割引性能指標の微分可能性の十分条件を提供すること。
• シミュレーションや数値計算に適した確率的表現を導出すること。
• 特にモーメント条件や幾何的エルゴード性に関する従来の仮定を緩和することで、より広範なモデルクラスへの適用可能性を拡大すること。
• 統計的推定誤差下での勾配計算を可能にすることで、不確実性の定量化と最適化を支援すること。

提案手法

• パラメータθに関する期待値の微分可能性を保証するための、遷移核および性能関数に関する十分なリャプノフ型条件を導出する。
• パラメータの変化に伴う期待値の差を制御するため、基準となるマルコフ連鎖と摂動を加えたバージョンを用いたカップリングの議論を用いる。
• マーチングales表現と切断技術を用いて、θとθ+hにおける性能指標の差をバウンディングする。
• 完備性と作用素の収束を保証するため、重み付きLp空間および作用素ノルム空間（Lw, Lw, Mw）を導入する。
• 測度値微分の枠組みを用いて、スコア関数と性能関数の積を含む期待値として導関数の明示的表現を導出する。
• 導関数が尤度比と性能増分の期待値として表現可能であることを確立し、シミュレーションに基づく推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一般状態空間マルコフ連鎖の性能指標が、その基本パラメータに関して微分可能となる条件は何か？
• RQ2 定常分布またはランダムホライズン割引性能指標の導関数は、シミュレーションや計算に適した形で表現可能か？
• RQ3 幾何的エルゴード性が成り立たない状況において、微分可能性を保証するために必要な最小限のモーメント条件やエルゴード性仮定は何か？
• RQ4 導関数を確率的に表現することで、パラメータ推定誤差下での不確実性の定量化と最適化をどのように可能にするか？
• RQ5 長期間のパスワイズな振る舞いの複雑な検証を必要とせずに、モデル構築ブロックを用いて微分可能性の条件を検証可能か？

主な発見

• 本稿は、有限の指数モーメントや幾何的エルゴード性を仮定しなくても、容易に検証可能なリャプノフ型条件のもとで性能指標の微分可能性が成立することを確立する。
• ランダムホライズン割引性能指標の導関数が、モーメント制御と切断技術により、期待値においてO(hx^p)のオーダーでバウンディングされることを示す。
• 定常測度の導関数は、スコア関数と性能増分の期待値として表現可能であり、シミュレーションに基づく推定が可能である。
• 重み付き作用素空間Lw, Lw, Mwの完備性が証明され、近似列の収束性と極限操作の正当性が保証される。
• 停止時刻の有限指数モーメントや幾何的エルゴード性といった強い仮定に依存せず、適用範囲を著しく拡大する。
• デルタ法によって形式化された、パラメータ不確実性下での性能指標の漸近的信頼区間の構築を支援する結果を得た。