[論文レビュー] Stabilizing Fixed-Point Iteration for Markov Chain Poisson Equations

Yang Xu, Vaneet Aggarwal|arXiv (Cornell University)|Jan 31, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

要約: 本論文は、非エルゴード性の有限状態マルコフ連鎖に対するポアソン方程式解を安定化させる商空間縮約フレームワークを提案し、ゲージ固定表現と周辺残差を学習するエンドツーエンドのサンプルベースパイプラインを提案する。

ABSTRACT

Poisson equations underpin average-reward reinforcement learning, but beyond ergodicity they can be ill-posed, meaning that solutions are non-unique and standard fixed point iterations can oscillate on reducible or periodic chains. We study finite-state Markov chains with $n$ states and transition matrix $P$. We show that all non-decaying modes are captured by a real peripheral invariant subspace $\mathcal{K}(P)$, and that the induced operator on the quotient space $\mathbb{R}^n/\mathcal{K}(P)$ is strictly contractive, yielding a unique quotient solution. Building on this viewpoint, we develop an end-to-end pipeline that learns the chain structure, estimates an anchor based gauge map, and runs projected stochastic approximation to estimate a gauge-fixed representative together with an associated peripheral residual. We prove $\widetilde{O}(T^{-1/2})$ convergence up to projection estimation error, enabling stable Poisson equation learning for multichain and periodic regimes with applications to performance evaluation of average-reward reinforcement learning beyond ergodicity.

研究の動機と目的

• エルゴード性を超える有限状態マルコフ連鎖におけるポアソン方程式解の不安定性と非一意性に対処する。
• 周辺不変部分空間を用いて非減衰モードを特徴づけ、商空間での収縮を分析する。
• 連鎖構造を学習し、ゲージ写像を推定し、投影ポアソン方程式を解くエンドツーエンドのサンプルベースパイプラインを開発する。
• 安定した方針評価を可能にするゲージ固定表現と周辺残差を提供し、多連鎖・周期的領域における評価を支援する。

提案手法

• 非減衰方向に対応する固有値を持つ周辺不変部分空間 K(P) を定義する。
• 商空間 R^n / K(P) を形成し、誘導演算子がスペクトル半径 < 1 となることを示し、収束性を確保する。
• 核が K(P) のゲージ射影 Pi を導入し、投影方程式 v = Pi(r + Pv) の範囲で一意な不動点 v* を得る。
• 残差 g* = r + Pv* − v* が K(P) にあること、及び商空間上で [v*] が唯一の不動点であることを証明する。
• 連鎖構造を学習し、射影を介してゲージを固定し、投影型確率近似を実行して v* および商クラス [v*] を推定するエンドツーエンドのパイプラインを提案する。
• エンドツーエンドの収束保証を、推定誤差をプロジェクションに織り込みつつ ~ O(T^−1/2) の速さで提供する。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖が可約または周期的である（すなわち非エルゴード）場合に、ポアソン方程式解をどのように安定化できるか？
• RQ2 商空間アプローチは非減衰モードを除去し、ポアソン方程式を学習するための収束性のある演算子を得られるか？
• RQ3 遷移行列を明示的に推定せず、サンプルからゲージ写像と対応する射影をどのように学習するか？
• RQ4 商空間における投影確率近似法の有限サンプル収束保証は何か？
• RQ5 多連鎖または周期的領域において政策評価を再発クラス/位相構造と過渡的コストに分解する方法は？

主な発見

• 実数の周辺不変部分空間 K(P) は P のすべての非減衰モードを捉える。
• 商空間 R^n / K(P) 上の誘導演算子は厳密に収束的で、rho(bar P) < 1。
• 一意の商解 [v*] が存在し、ゲージ固定表現 v* は range(Pi) 内で一意、残差 g* ∈ K(P)。
• エンドツーエンドのパイプラインは連鎖構造を学習し、ゲージを固定し、投影型確率近似を用いて ~ O~(T^−1/2) の収束をゲージ推定誤差まで達成する。
• この枠組みは多連鎖・周期的領域に対して安定なポアソン方程式学習を可能にし、長期挙動と過渡的コストの原理的な分解を提供する。