[論文レビュー] Quasi-Stationary Distributions for Stochastic Approximation Algorithms with constant step size

Bastien Marmet|arXiv (Cornell University)|Mar 28, 2013

Stochastic processes and financial applications参考文献 14被引用数 3

ひとこと要約

本稿は、定常ステップサイズを用いた離散時間確率的近似アルゴリズムにおける準定常分布（QSDs）を、常微分方程式（ODE）の確率的摂動としてモデル化することで研究する。大偏差仮定およびODEに内部吸引子が存在する条件下で、QSDの弱*極限点が、内部吸引子に台を持つ不変測度であることを証明しており、消滅時間はシステムサイズNに対して指数関数的に増加する。

ABSTRACT

In this paper we investigate quasi-stationary distributions μ_N of stochastic approximation algorithms with constant step size which can be viewed as random perturbations of a time-continuous dynamical system. Inspired by ecological models these processes have a closed absorbing set corresponding to extinction. Under some large deviation assumptions and the existence of an interior attractor for the ODE, we show that the weak* limit points of the QSD μ_N are invariant measures for the ODE with support in the interior attractors.

研究の動機と目的

• 定常ステップサイズを用いた確率的近似アルゴリズムの長期的挙動を理解すること、特に消滅吸収状態を有する系において。
• システムサイズNの増大に伴う準定常分布（QSDs）の収束を調査すること。
• 内部吸引子が存在する場合、QSDの極限測度を、対応するODEの不変測度として特徴付けること。
• 極限測度の台が消滅境界から離れた吸引子に含まれる条件を確立すること。

提案手法

• 確率過程を、平均場FとマルティングールノイズU_n^Nで制御されるスケーリングされた単体Δ_N上の離散時間マルコフ連鎖としてモデル化する。
• 連続時間補間ĥX^N(t)を用いて、確率的軌道とFによって誘導される決定的フローφ_tを比較する。
• 大偏差原理を用いて、特に境界付近での抜去時間と吸収確率を分析する。
• 吸収を保存する擬似軌道を導入し、大偏差汎関数における連続的再帰性をConleyのδ-T連続的再帰性に関連付ける。
• 弱*収束を用いて、N → ∞におけるQSD μ^Nの極限点を研究する。
• ペロン＝フロベニウスの定理およびヤグロム極限の結果に依拠し、QSDおよびその収束性質を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 定常ステップサイズを用いた確率的近似アルゴリズムの準定常分布が、対応するODEの不変測度に収束する条件は何か？
• RQ2 ODEに内部吸引子が存在する場合、期待消滅時間はシステムサイズNに対してどのようにスケーリングされるか？
• RQ3 QSDの極限測度の台は何か？また、それが消滅境界から離れた吸引子に含まれる条件は何か？
• RQ4 大偏差原理と連続的再帰の概念は、吸収および準安定性の文脈でどのように関連するか？

主な発見

• QSD μ^Nの弱*極限点は、内部吸引子が存在する場合、ODEの不変測度であり、それらは内部吸引子に台を持つ。
• 与えられた大偏差仮定およびODEの吸引子仮定の下で、μ^Nに初期化された系の期待消滅時間はNに対して指数関数的に増加する。
• 追加の大偏差仮定の下で、極限不変測度の台は、消滅境界から離れた吸引子に含まれる。
• QSDが不変測度に収束することは、大偏差汎関数とConleyのδ-T連続的再帰の修正版との比較によって確立される。
• 本結果は、FaureとSchreiberの離散時間摂動系に関する結果を、定常ステップサイズを用いた連続時間に近い確率的近似過程へと拡張する。