[論文レビュー] Limit theorems for stochastic approximation algorithms

Henrik Renlund|arXiv (Cornell University)|Feb 23, 2011

Simulation Techniques and Applications参考文献 21被引用数 9

ひとこと要約

この論文は、誤差項が極限で消えない場合でも、ドリフト関数の安定したゼロに収束する1次元の確率的近似アルゴリズムに対して中心極限定理を確立する。ステップサイズの漸近的スケーリングに応じて、異なる極限的挙動を同定する。正規極限は、正規化されたステップサイズ $ hat{ gamma} \geq 1/2$ のとき、非正規かつ特定不能な極限は $ hat{ gamma} < 1/2$ のときであり、同じ漸近的パラメータを持つが異なるリプレースメントルールを持つ一般化されたポlya urnモデルを通じて図示される。

ABSTRACT

We prove a central limit theorem applicable to one dimensional stochastic approximation algorithms that converge to a point where the error terms of the algorithm do not vanish. We show how this applies to a certain class of these algorithms that in particular covers a generalized Pólya urn model, which is also discussed. In addition, we show how to scale these algorithms in some cases where we cannot determine the limiting distribution but expect it to be non-normal.

研究の動機と目的

• 極限点で誤差項が消えない確率的近似アルゴリズムの中心極限定理を導出すること。
• このようなアルゴリズムにおいて、正規化された系列 $X_n - p$ の極限分布を分析すること、特に極限分散が非ゼロのとき。
• $n\gamma_n h(X_{n-1})$ の漸近的挙動がスケーリングおよび極限分布をどのように決定するかを調査すること。
• 結果を一般化されたポlya urnモデルに適用し、同じ漸近的パラメータを持つにもかかわらず異なる極限分布を示す異なるリプレースメントルールが存在することを示すこと。
• 極限分布が正規であるか非正規であるかを特定する条件を明確にすること、特に $ hat{ gamma} < 1/2$ の場合。

提案手法

• ドリフト条件 $f(x) = -h(x)(x-p)$ を満たす確率的近似過程に対して中心極限定理（定理1）を導出する。ここで $h$ は $p$ の近傍で連続的かつ正である。
• 漸近的スケーリングおよび極限的挙動を決定する重要な量 $ hat{ gamma} = \lim n\gamma_n h(X_{n-1})$ を導入する。
• ドリフト関数 $f(x) = \alpha x^2 + \beta x + c$ および誤差分散 $\mathcal{E}(x) = x(1-x)[a-c+\alpha x]^2$ を特定することで、中心極限定理を一般化されたポlya urnに適用する。
• [Jan06] で知られている結果を用いて、同じ $ hat{ gamma}$ および $h(p)$ を持つが異なる極限法則を持つ異なる urn プロセスの極限分布を比較する。
• $ hat{ gamma} < 1/2$ の場合、定理2を用いて非正規かつ特定不能な分布への収束を分析する。
• 高次構造に依存するため、同じ $ hat{ gamma}$、$h(p)$、誤差分散であっても、異なる urn モデルが異なる極限分布を持つ可能性があることを示す反例を提示する。

実験結果

リサーチクエスチョン

• RQ1 非消滅誤差項を伴う確率的近似アルゴリズムが正規分布に収束する条件は何か？
• RQ2 $n\gamma_n h(X_{n-1})$ の漸近的値が $X_n - p$ のスケーリングおよび極限分布をどのように決定するか？
• RQ3 同じ $ hat{ gamma}$、$h(p)$、誤差分散を持つ2つの一般化されたポlya urnプロセスが異なる極限分布を示すのはなぜか？
• RQ4 $\nhat{\ngamma} < 1/2$ の場合、極限分布はどのように変化し、なぜ正規的でも特定不能でもないのか？
• RQ5 初期条件およびリプレースメント行列の構造は、一般化されたポlya urnにおける極限分布にどのように影響するか？

主な発見

• $\nhat{\ngamma} \geq 1/2$ のとき、正規化された系列 $n^{1/2}(X_n - p)$ は定理1により正規分布に分布収束する。
• $\nhat{\ngamma} < 1/2$ のとき、極限分布は非正規的かつ特定不能であり、定理2および反例によって確認される。
• 同じ $ hat{ gamma} = 2/5$、$h(p) = 2$、$\mathcal{E}(p) = 9/4$ を持つ2つの一般化されたポlya urnでは、異なる極限分布を示す：一方は安定分布に関連する分布に収束し、他方は非正規的かつ対称な分布に収束する。
• $Z$-プロセスの期待値 $\mathbb{E}W$ は $B_0 > 3$ のとき非ゼロであり、初期条件に依存することを示し、$\nhat{\ngamma} \geq 1/2$ の場合とは異なっている。
• フレイドマンの urn におけるリプレースメント行列の対称性により、$W_0 = B_0 > 0$ のとき $W'$ はゼロの周りに対称的であるが、正規的ではない。
• $h(p) = 0$（重解）の場合、例えば行列 $\begin{pmatrix}a&0\\b&a\end{pmatrix}$ のように、極限挙動は非正規的であり、異なる漸近的法則に従う。これは註3で指摘されている。