[論文レビュー] Almost sure convergence and asymptotical normality of a generalization of Kesten's stochastic approximation algorithm for multidimensional case

Pedro Cruz-Romero|arXiv (Cornell University)|May 26, 2011

Stochastic Gradient Optimization Techniques参考文献 3被引用数 5

ひとこと要約

本稿は、連続する推定増分間の内積の符号に基づいてステップサイズを動的に調整する、Kestenの確率的近似アルゴリズムの多次元一般化について、確率的収束および漸近正規性を確立する。主な貢献は、弱い正則性条件のもとで $\tilde{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$ を示したことであり、$V$ はリャプノフ方程式を満たし、最適な収束速度と分布極限を保証する。

ABSTRACT

It is shown the almost sure convergence and asymptotical normality of a generalization of Kesten's stochastic approximation algorithm for multidimensional case. In this generalization, the step increases or decreases if the scalar product of two subsequente increments of the estimates is positive or negative. This rule is intended to accelerate the entrance in the `stochastic behaviour' when initial conditions cause the algorithm to behave in a `deterministic fashion' for the starting iterations.

研究の動機と目的

• Kestenの確率的近似アルゴリズムを、適応的ステップサイズ制御を伴う多次元ケースに拡張すること。
• ベクトル場およびノイズに関する一般的な条件下で、アルゴリズムの確率的収束を確立すること。
• 追加の正則性およびモーメント条件のもとで、推定量の漸近正規性を導出すること。
• 初期条件が決定論的のような挙動を引き起こす場合に、収束を加速するシグモイドベースの適応則の使用を正当化すること。

提案手法

• 連続する勾配推定値間の内積の符号に基づきステップサイズを調整する動的ステップサイズルール $s_t = (s_{t-1} + \mathrm{u}(-y_t^T y_{t-1}))^+$ を導入し、$\mathrm{u}$ をシグモイド関数とする。
• 安定性を分析するために、$V(x^*) = 0$、$\nabla^2 V(x) \leq M$、および $x \neq x^*$ に対して $\varphi(x)^T \nabla V(x) > 0$ を満たすリャプノフ関数 $V(x)$ を用いる。
• 独立同一分布で平均がゼロで有限の共分散 $S_\xi$ を持つ martingale 差分列 $\xi_t$ の枠組みを採用する。
• 確率的項の挙動を制御するために、コルモゴロフの反復対数法則および martingale 収束定理を適用する。
• 漸近正規性を導出するため、$\sqrt{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$ を示し、ここで $V$ はリャプノフ方程式 $A V + V A^T = \Sigma$ を満たす。
• スラツキーの定理および一様可積分性を用いて、時間変動するステップサイズの下でも確率的収束と分布収束を結びつける。

実験結果

リサーチクエスチョン

• RQ1 提案された適応的ステップサイズルールは、多次元ケースにおいて確率的近似列が真の解に確率的に収束することを保証するか？
• RQ2 どのような条件下でアルゴリズムは漸近正規性を達成し、正規化誤差の極限分布は何か？
• RQ3 スカラープロダクトに基づくステップサイズ適応は、初期条件が決定論的のような挙動を引き起こす場合に収束をどのように改善するか？
• RQ4 期待値 $\mathrm{E}_0 = \lim_{\omega \to 0^+} \mathrm{E}[\mathrm{u}(X^{(\omega)})]$ は収束性および漸近正規性を保証するために果たす役割は何か？
• RQ5 与えられた仮定のもとで、漸近分散 $V$ は一意なリャプノフ方程式の解として特徴付けられるか？

主な発見

• 仮定 B1–B4 を満たす限り、$x_t$ が真の解 $x^*$ に確率的に収束することが確立される。これにはリャプノフ関数条件と正の極限 $\mathrm{E}_0 > 0$ が含まれる。
• 追加の仮定 B3.3, B3.4, および B4.3 が満たされれば、漸近正規性が成立し、$\sqrt{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$ が成り立つ。
• 漸近分散 $V$ は、$A = \varphi'(x^*)$ およびノイズの共分散行列 $\Sigma$ を用いて定義されるリャプノフ方程式 $A V + V A^T = \Sigma$ の一意な正定値解として特徴付けられる。
• $y_t^T y_{t-1}$ の符号に基づく適応的ステップサイズルールは、アルゴリズムが確率的状態に移行するとステップサイズを小さくすることで収束を加速する。
• 与えられた条件下で収束速度 $\sqrt{t}$ は最適であり、極限分布は平均ゼロ、共分散行列 $V$ の多変量正規分布である。
• 証明は、martingale 収束、一様可積分性、およびスラツキーの定理に依拠しており、時間変動するステップサイズの下でも分布収束を確立する。