[論文レビュー] Verifiable Conditions for Irreducibility, Aperiodicity and T-chain Property of a General Markov Chain

Alexandre Chotard, Anne Auger|arXiv (Cornell University)|Oct 29, 2015

Optimization and Search Problems被引用数 5

ひとこと要約

本稿は、C¹の遷移関数Fと、可能であるが不連続な制御関数αによって定義される一般の非線形マルコフ連鎖が、ϕ-再帰的、非周期的、T-連鎖であるための十分条件を確立する。強力にグローバルに吸引される状態の概念を導入し、k-パスに沿ってk番目の遷移関数がサブマージョンであることを要件とすることで、先行研究よりも弱い滑らかさの仮定のもとで再帰性および安定性の性質を証明する。これにより、適応確率的最適化への応用が可能になる。

ABSTRACT

We consider in this paper Markov chains on a state space being an open subset of R n that obey the following general non linear state space model: Φt+1 = F (Φt, α(Φt, Ut+1)) , t ∈ N, where (Ut) t∈N * (each Ut ∈ R p) are i.i.d. random vectors, the function α, taking values in R m , is a measurable typically discontinuous function and (x, w) → F (x, w) is a C 1 function. In the spirit of the results presented in the chapter 7 of the Meyn and Tweedie book on Markov Chains and Stochastic Stability , we use the underlying deterministic control model to provide sufficient conditions that imply that the chain is a ϕ-irreducible, aperiodic T-chain with the support of the maximal irreducibility measure that has a non empty interior. To be able to show the same properties using previous results would require that the overall update function (x, u) → F (x, α(x, u)) is C ∞ and that U1 admits a lower semi-continuous density. In contrast, we assume that the function (x, w) → F (x, w) is C 1 , and that for all x, α(x, U1) admits a density px such that the function (x, w) → px(w) is lower semi-continuous. Hence the function (x, u) → F (x, α(x, u)) may have discontinuities captured by the function α. We introduce the notion of a strongly globally attracting state and we prove that if there exists a strongly globally attracting state and a time step k, such that we find a k-path such that the k th transition function starting from x * , F k (x * , .), is a submersion at this k-path, the chain is a ϕ-irreducible, aperiodic, T-chain. We present two applications of our results to Markov chains arising in the context of adaptive stochastic search algorithms to optimize continuous functions in a black-box scenario.

研究の動機と目的

• 開集合上の一般のマルコフ連鎖におけるϕ-再帰性、非周期性、T-連鎖性の検証可能な条件を確立すること。
• MeynとTweedieの枠組みにおける既存の結果と比較して、全体の更新関数 (x,u) → F(x,α(x,u)) における滑らかさ要件を緩和すること。
• 制御関数αが不連続である可能性のあるブラックボックス最適化設定において、適応確率的探索アルゴリズムの解析を可能にすること。
• 再帰的性質の証明のための主要な構造的仮定として、強力にグローバルに吸引される状態の概念を導入すること。
• 制御機構における最小限の正則性のもとで、確率的アルゴリズムの安定性および収束性の理論的基盤を提供すること。

提案手法

• 非線形状態空間系としてマルコフ連鎖をモデル化する：Φt+1 = F(Φt, α(Φt, Ut+1))、ここで (Ut) はR^pに倣う独立同分布の確率的ベクトルである。
• Fが(x,w)に関してC¹であると仮定し、各xに対してα(x,U1)の分布が下半連続な密度px(w)を持つと仮定する。
• 決定的制御のもとで軌道がx*に収束するような強力にグローバルに吸引される状態x*の概念を導入する。
• x*から出発するk-パスを定義し、そのパスの像においてk番目の遷移関数F^k(x*, ·)がサブマージョンであることを要件とする。これにより局所的全射性が保証される。
• サブマージョン性を用いて、連鎖が状態空間の任意の近傍に正の確率で到達可能であることを確立する。
• 決定的制御モデルを活用して、C∞滑らかさや全更新関数の密度下界を要件としないまま、確率的再帰性および非周期性を導出する。

実験結果

リサーチクエスチョン

• RQ1 不連続な制御を持つ一般の非線形マルコフ連鎖が、ϕ-再帰的かつ非周期的であると示される条件は何か？
• RQ2 全体の更新関数 (x,u) → F(x,α(x,u)) がC∞でない、または下位半連続な密度を持たない場合に、T-連鎖性はどのように確立できるか？
• RQ3 強力にグローバルに吸引される状態の存在が、連鎖の長期的安定性および到達可能性を保証するために果たす役割は何か？
• RQ4 k-パスにおけるk番目の遷移写像F^k(x*, ·)のサブマージョン条件が、より弱い滑らかさ仮定のもとで望ましいエルゴード的性質を保証できるか？
• RQ5 これらの条件は、不連続な更新規則を持つ適応確率的探索アルゴリズムへのマクロフ連鎖安定性理論の適用範囲をどのように拡張するか？

主な発見

• 強力にグローバルに吸引される状態x*が存在し、F^k(x*, ·)がそのパスの像においてサブマージョンであるようなk-パスが存在する場合、連鎖はϕ-再帰的である。
• 非周期性は、サブマージョン的k-遷移写像を持つk-パスの存在によって保証され、連鎖が周期的行動に閉じ込められるのを防ぐ。
• 最大再帰的測度の台が空でない内部を持つ場合、連鎖はT-連鎖である。これはサブマージョン条件とx*のグローバル吸引性から導かれる。
• 先行研究よりも弱い仮定のもとで結果が成り立つ：FはC¹で十分であり、α(x,U1)の密度はwに関してのみ下半連続で十分である。
• 本フレームワークは、選択やしきい値ルールによる不連続性を示す可能性のあるブラックボックス最適化における適応確率的探索アルゴリズムに適用可能である。
• 本手法は、全更新関数 (x,u) → F(x,α(x,u)) がC∞でないか、U1が下半連続な密度を持たない場合でも、適用範囲を広げる。