[論文レビュー] A pointwise ergodic theorem for imprecise Markov chains

Gert de Cooman, Jasper De Bock+1 more|arXiv (Cornell University)|Nov 15, 2014

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿は、凸閉集合内に確率が存在する遷移確率を有する不確実な（曖昧に指定された）マルコフ連鎖に対して、下martingale差分のゲーム理論的強大数法則を確立し、それを応用して点ごとのエルゴード定理を導出する。主な貢献は、分布的曖昧性が存在する状況においても、サンプルパスに沿った関数の時間平均の収束結果を示したことにある。

ABSTRACT

We prove a game-theoretic version of the strong law of large numbers for submartingale differences, and use this to derive a pointwise ergodic theorem for discrete-time Markov chains with finite state sets, when the transition probabilities are imprecise, in the sense that they are only known to belong to some convex closed set of probability measures.

研究の動機と目的

• ゲーム理論的枠組みにおいて、下martingale差分の強大数法則を拡張すること。
• 遷移確率が曖昧（曖昧に指定された）なマルコフ連鎖に対して、エルゴード定理が存在しないという問題を扱うこと。
• 不確かな確率的システムにおける長期的挙動の分析の理論的基盤を構築すること。
• 古典的エルゴード理論を、正確な分布ではなく凸集合内の確率測度の集合に一般化すること。

提案手法

• ゲーム理論的手法を用いて、下martingale差分の強大数法則を導出する。
• 遷移核の確率測度の凸閉集合を用いて、マルコフ連鎖における不確実性をモデル化する。
• ゲーム理論的大数法則を適用して、サンプルパスに沿った時間平均の収束を導出する。
• 不確かな遷移法則下でも、状態過程の関数のほとんど確実な収束を確立する。
• 不確実性を扱うために、下martingale構造と凸性に依存する。
• ゲーム理論的確率と不確かな確率モデルの確率過程との間の関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論的設定において、下martingale差分の強大数法則を確立できるか？
• RQ2 遷移確率が凸閉集合内にのみ与えられる場合、マルコフ連鎖に対して点ごとのエルゴード定理が成立するか？
• RQ3 遷移カーネルにおける分布的曖昧性は、マルコフ連鎖の長期的挙動にどのように影響するか？
• RQ4 不確かなマルコフ的ダイナミクス下でも、関数の時間平均がほとんど確実に収束するか？
• RQ5 不確かなマルコフ連鎖における経験的平均の収束を保証する条件は何か？

主な発見

• 下martingale差分のゲーム理論的強大数法則が証明され、古典的結果がより広い確率過程のクラスへ拡張された。
• 有界関数の時間平均が、凸集合内の遷移確率を有する不確かなマルコフ連鎖において、サンプルパスに沿って収束することが確立された。
• 遷移確率が凸閉集合内にしか特定できない状況でも、収束はほとんど確実に成立する。
• この手法により、確率的曖昧性が存在する状況でも、ロバストな長期的分析が可能になる。
• このアプローチは、不確かな確率的モデルにおけるエルゴード的挙動の理論的基盤を提供する。
• このフレームワークは、不確かな確率的ダイナミクスにおける不確実性を扱うために、下martingale構造の利用を支援する。