[論文レビュー] Stochastic Recursive Inclusions with Non-Additive Iterate-Dependent Markov Noise

Vinayaka G. Yaji, Shalabh Bhatnagar|arXiv (Cornell University)|Jul 16, 2016

Markov Chains and Monte Carlo Methods参考文献 15被引用数 4

ひとこと要約

本稿は、集合値の勾配関数と非加法的かつ反復依存のマルコフノイズを伴う確率的再帰的包含を研究する。本稿は、反復の補間軌道が、マルコフノイズの定常分布にわたる集合値勾配の平均化によって得られる極限微分包含の漸近的擬軌道であることを確立し、これにより、再帰の極限集合を極限包含の力学的挙動によって特徴付けることが可能になる。

ABSTRACT

In this paper we study the asymptotic behavior of stochastic approximation schemes with set-valued drift function and non-additive iterate-dependent Markov noise. We show that a linearly interpolated trajectory of such a recursion is an asymptotic pseudotrajectory for the flow of a limiting differential inclusion obtained by averaging the set-valued drift function of the recursion w.r.t. the stationary distributions of the Markov noise. The limit set theorem in [1] is then used to characterize the limit sets of the recursion in terms of the dynamics of the limiting differential inclusion. We then state two variants of the Markov noise assumption under which the analysis of the recursion is similar to the one presented in this paper. Scenarios where our recursion naturally appears are presented as applications. These include controlled stochastic approximation, subgradient descent, approximate drift problem and analysis of discontinuous dynamics all in the presence of non-additive iterate-dependent Markov noise.

研究の動機と目的

• 非加法的かつ反復依存のマルコフノイズを伴う集合値勾配関数を有する確率的近似スキームの漸近的挙動を分析すること。
• ODE法および漸近的擬軌道フレームワークを、集合値および非加法的ノイズの設定に拡張すること。
• マルコフノイズの定常分布にわたる平均化によって得られる極限微分包含の力学的挙動を用いて、このような再帰の極限集合を特徴付けること。
• リプシッツ連続性やホルダー連続性を仮定しない、不連続または僅かに可測な勾配関数に対しても、解析が有効である条件を提供すること。

提案手法

• 本稿は、再帰を $ X_{n+1} - X_n - a(n)M_{n+1} \in a(n)H(X_n, S_n) $ としてモデル化し、$ H $ は集合値写像であり、$ \{S_n\} $ はコンパクト状態のマルコフノイズ過程である。
• 集合値勾配 $ H $ を、連続的かつ凸的にパrameter化された集合値写像 $ H^{(l)} $ を用いて近似し、標準的な確率的近似技術の適用を可能にする。
• 極限微分包含は $ \frac{dx}{dt} \in \bar{H}(x) $ として定義され、ここで $ \bar{H}(x) $ はマルコフノイズの定常分布にわたる $ H(x,s) $ の平均である。
• 再帰の線形補間軌道が、極限微分包含のフローの漸近的擬軌道であることを証明する。
• 解析は測度値関数空間のメトリシゼーションおよび近似写像 $ H^{(l)} $ の連続性特性に依存し、真の集合値写像への収束を保証する。
• 本稿は [1] の極限集合定理を用いて、再帰のオメガ極限集合を極限微分包含の不変集合の観点から特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 集合値勾配関数および非加法的反復依存マルコフノイズを伴う確率的再帰が、極限微分包含の力学に収束する条件は何か？
• RQ2 漸近的擬軌道フレームワークを、集合値勾配および非加法的マルコフノイズの設定に拡張するにはどうすればよいか？
• RQ3 集合値設定における平均化原理の有効性を保証するためのマルコフノイズ過程に対する十分条件は何か？
• RQ4 リプシッツ連続性やホルダー連続性を仮定しない状況、例えば勾配関数が不連続または僅かに可測である場合でも、解析を拡張できるか？
• RQ5 マルコフノイズの定常分布の構造が、再帰の極限挙動にどのように影響するか？

主な発見

• 再帰の線形補間軌道は、極限微分包含 $ \frac{dx}{dt} \in \bar{H}(x) $ の漸近的擬軌道である。ここで $ \bar{H}(x) $ は、マルコフノイズの定常分布にわたる $ H(x,s) $ の平均である。
• 再帰の極限集合は、初期条件から出発する極限微分包含のフローによって到達可能なすべての点の集合として特徴付けられる。
• $ H $ を近似するための集合値写像 $ H^{(l)} $ は、上半連続かつ下半連続であるため、連続的であり、近似プロセスの安定性を保証する。
• $ l \to \infty $ のとき、近似 $ H^{(l)} $ は点wiseで $ H $ に収束し、$ H^{(l)}(x,s) $ の要素のノルムには $ 1 + \|x\| $ に比例する一様な有界性が保証される。
• 本手法は、[7] と同様の2つの代替仮定のもとで有効であり、非一意な定常分布および状態変数と反復変数の両方における連続性を許容する。
• 集合値写像 $ G(s) = \{ u \in U : h^{(l)}(x,s,u) = f(s) \} $ の可測性は、連続性およびボレル可測性の議論により確立され、確率的解析の有効性が保証される。