[論文レビュー] Dynamics of stochastic approximation with Markov iterate-dependent noise with the stability of the iterates not ensured

Prasenjit Karmakar, Shalabh Bhatnagar|arXiv (Cornell University)|Jan 10, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用数 5

ひとこと要約

本稿は、マーカフ反復依存ノイズを伴う確率的近似に対して、ロックイン確率フレームワークを確立し、有界なノイズサポート下で下界を導出し、反復が漸近的にタイトである場合のほとんど確実収束を証明する。これにより、反復の事前安定性を仮定しない適応アルゴリズムにおけるステップサイズ選択のためのサンプル複雑性推定が可能になる。

ABSTRACT

This paper compiles several aspects of the dynamics of stochastic approximation algorithms with Markov iterate-dependent noise when the iterates are not known to be stable beforehand. We achieve the same by extending the lock-in probability (i.e. the probability of convergence to a specific attractor of the limiting o.d.e. given that the iterates are in its domain of attraction after a sufficiently large number of iterations (say) n0) framework to such recursions. Specifically, with the more restrictive assumption of Markov iterate-dependent noise supported on a bounded subset of the Euclidean space we give a lower bound for the lock-in probability. We use these results to prove almost sure convergence of the iterates to the specified attractor when the iterates satisfy an asymptotic tightness condition. This, in turn, helps in analyzing the tracking ability of general adaptive algorithms. Additionally, we show that our results can be used to derive a extit{sample complexity estimate} of such recursions, which then can be used for step-size selection.

研究の動機と目的

• マーカフ反復依存ノイズを伴う確率的近似アルゴリズムへのロックイン確率フレームワークの拡張を目的とする。
• 有界なノイズサポート下でのロックイン確率の下界を確立することを目的とする。
• 反復が漸近的にタイトである場合のほとんど確実収束を証明することを目的とする。
• 適応アルゴリズムにおけるステップサイズ選択のためのサンプル複雑性推定を導出することを目的とする。
• 不安定な反復ダイナミクス下での一般適応システムの追跡性能を分析することを目的とする。

提案手法

• ノイズ分布が現在の反復に依存するマーカフ依存ノイズを伴う再帰的関係に、ロックイン確率の概念を拡張する。
• マーカフノイズの有界なサポートを仮定し、ノイズ行動に対する測度可能な確率的制御を保証する。
• 極限の通常微分方程式（ODE）フレームワークを用いて、確率的再帰の長期的挙動を分析する。
• 反復の漸近的タイト性を、ODEの特定の吸引子への収束を保証する十分条件として適用する。
• ステップサイズ選択のためのサンプル複雑性推定を、ロックイン確率の下界に基づいて導出する。
• 確率的解析とODEに基づく安定性理論を組み合わせ、非安定な反復を扱う。

実験結果

リサーチクエスチョン

• RQ1 マーカフ反復依存ノイズ下で、極限ODEの特定の吸引子への収束確率の下限は何か？
• RQ2 非i.i.d.ノイズが反復に依存する確率的近似において、ロックイン確率をどのように拡張できるか？
• RQ3 反復が事前安定でない場合、確率的再帰がほとんど確実に収束するための条件は何か？
• RQ4 このような再帰に対して、サンプル複雑性推定を導出できるか？ その結果、ステップサイズ選択を支援できるか？
• RQ5 適応アルゴリズムの追跡性能は、ノイズ構造と反復ダイナミクスにどのように依存するか？

主な発見

• ユークリッド空間の有界部分集合上で定義されたサポートを持つマーカフ反復依存ノイズを伴う確率的近似に対して、ロックイン確率の下界が確立された。
• 反復が漸近的にタイトであるという仮定の下で、極限ODEの特定の吸引子へのほとんど確実収束が証明された。
• 提案されたフレームワークにより、再帰のサンプル複雑性推定が導出可能となり、ステップサイズ選択に役立つ。
• 結果は、不安定な反復ダイナミクス下での一般適応アルゴリズムの追跡能力の分析に適用可能である。
• 反復の事前安定性を前提としないため、実世界の適応システムへの応用範囲が広がる。
• 分析により、非i.i.d.ノイズ環境下でのロバストなステップサイズチューニングの理論的基盤が提供された。