[論文レビュー] Theoretical analysis of a Stochastic Approximation approach for computing Quasi-Stationary distributions

José Blanchet, Peter W. Glynn+1 more|arXiv (Cornell University)|Jan 2, 2014

Scientific Research and Discoveries参考文献 5被引用数 4

ひとこと要約

本稿は、行列の明示的取り扱いなしにマコフ連鎖における準定常分布を計算するための確率的近似フレームワークを提案し、収束性を証明し、推定量の中心極限定理（CLT）を導出する。収束が遅くなる状況を同定し、Polyak-Ruppert平均化を用いた投影および平均化変種を導入し、数値実験を通じて、高次元または条件数の悪い系において、改善されたアルゴリズムが著しく高速な収束率を達成することを示す。

ABSTRACT

This paper studies a method, which has been proposed in the Physics literature by [8, 7, 10], for estimating the quasi-stationary distribution. In contrast to existing methods in eigenvector estimation, the method eliminates the need for explicit transition matrix manipulation to extract the principal eigenvector. Our paper analyzes the algorithm by casting it as a stochastic approximation algorithm (Robbins-Monro) [23, 16]. In doing so, we prove its convergence and obtain its rate of convergence. Based on this insight, we also give an example where the rate of convergence is very slow. This problem can be alleviated by using an improved version of the algorithm that is given in this paper. Numerical experiments are described that demonstrate the effectiveness of this improved method.

研究の動機と目的

• 物理学の文献に登場するヒューリスティックなサンプリングベースの手法が、相互作用粒子系における準定常分布を推定するために理論的基盤を提供すること。
• 推定量の収束性と一般化された中心極限定理（CLT）を確立し、先行研究で取り上げられていた特定の関数型に限定されないことを目的とする。
• 元のアルゴリズムが非常に遅い収束を示す条件、特に固有値が明確に分離されていない場合を同定すること。
• 射影と反復平均化（Polyak-Ruppert）を用いた改良アルゴリズムを構築・分析し、すべての状況で有効なCLTが保証されることを目的とする。
• ループを持つチェイン、M/M/1キュー、接触過程の数値実験を通じて、改良手法の妥当性を検証すること。

提案手法

• 更新規則がコルモゴロフ前進方程式と経路観測の経験的平均から導かれるように、アルゴリズムをRobbins-Monroの確率的近似プロセスとして再定式化する。
• マルティンゲール極限定理とODE法を用いて収束を証明し、経験的測度が真の準定常分布にほとんど確実に収束することを示す。
• 一般条件の下で推定量の中心極限定理（CLT）を確立し、非主固有ベクトルに関連する関数型に限定されない。
• 改良アルゴリズムは、有界性を保証するための射影を適用し、漸近的分散を低減して収束を加速する反復平均化（Polyak-Ruppert）を用いる。
• 連続時間版は、レート行列 $ Q $ を持つ対応するODE系を導出し、級数展開を用いて $ \exp(-Q)^{-1} $ が非負の成分を持つことを証明する。
• 理論的結果は、部分的ストキャスティックまたはレート行列に対するペロン＝フロベニウスの定理に依拠し、主左固有ベクトルの存在と一意性を保証する。

実験結果

リサーチクエスチョン

• RQ1 元の準定常分布のための確率的近似アルゴリズムは、どのような条件下で収束し、収束速度はどの程度か？
• RQ2 元のアルゴリズムが特定の状況で極めて遅い収束を示す理由は何か？ そして、遷移行列のどのような構造的性質がこれに起因するか？
• RQ3 すべての状況で有効な中心極限定理と高速な収束を保証するように、アルゴリズムの修正版を構築可能か？
• RQ4 高次元または条件数の悪い系において、改良アルゴリズムの性能は元のアルゴリズムと比べてどの程度向上するか？
• RQ5 固有値がスペクトルギャップに近い系において、元のアルゴリズムで失敗する理論的CLTが、改良アルゴリズムでは成り立つか？

主な発見

• 元のアルゴリズムが形式的に確率的近似プロセスとして認識され、従来のヒューリスティック的またはウーム過程に基づく結果を超えて、収束性とCLTの厳密な解析が可能になった。
• すべての関数型に適用可能な一般化された中心極限定理が確立され、非主固有ベクトルに関連する関数型に限定されないため、適用範囲が著しく拡大された。
• 本稿は、スペクトルギャップが小さい、または固有値が凝集している場合に、元のアルゴリズムの収束速度が極めて遅くなるような特定の状況を同定した。
• 射影とPolyak-Ruppert反復平均化を用いた改良アルゴリズムは、より高速な収束速度を達成し、問題のある状況でも有効なCLTを保証する。
• ループを持つチェイン、M/M/1キュー、接触過程における数値実験により、改良アルゴリズムが元のアルゴリズムと比べて、特に高次元または混雑状態の設定において、桁違いに高速に収束することが確認された。
• 連続時間版のアルゴリズムは、同様の条件下で収束することが示され、$ \exp(-Q)^{-1} $ が非負であることが級数展開を用いて証明され、ODE近似の有効性が保証された。