[논문 리뷰] Limit theorems for stochastic approximation algorithms

Henrik Renlund|arXiv (Cornell University)|2011. 02. 23.

Simulation Techniques and Applications참고 문헌 21인용 수 9

한 줄 요약

이 논문은 오차 항이 수렴점에서 사라지지 않는 한차원 확률적 근사 알고리즘에 대해 안정된 드리프트 함수의 영점으로 수렴할 때 중심극한정리(central limit theorem)를 확립한다. 오차 항이 사라지지 않는 조건에서도, 단계 크기의 渐近적 스케일링에 따라 구분되는 극한 행동을 규명한다. 정규 극한은 정규화된 단계 크기 $\hat{\gamma} \geq 1/2$ 인 경우에 발생하고, 비정규이자 식별 불가능한 극한은 $\hat{\gamma} < 1/2$ 인 경우에 발생한다. 이는 동일한 渐近적 매개변수를 갖는 다양한 치환 규칙을 가진 일반화된 Pólya 우산 모델을 통해 시각화된다.

ABSTRACT

We prove a central limit theorem applicable to one dimensional stochastic approximation algorithms that converge to a point where the error terms of the algorithm do not vanish. We show how this applies to a certain class of these algorithms that in particular covers a generalized Pólya urn model, which is also discussed. In addition, we show how to scale these algorithms in some cases where we cannot determine the limiting distribution but expect it to be non-normal.

연구 동기 및 목표

• 오차 항이 수렴점에서 사라지지 않는 확률적 근사 알고리즘에 대해 중심극한정리를 도출하는 것.
• 이러한 알고리즘에서 정규화된 수열 $X_n - p$의 극한 분포를 분석하는 것, 특히 극한 분산이 0이 아닐 경우에 초점 맞춤.
• 수열 $n\gamma_n h(X_{n-1})$의 渐近적 행동이 $X_n - p$의 스케일링과 극한 분포를 어떻게 결정하는지 조사하는 것.
• 결과를 일반화된 Pólya 우산 모델에 적용하여, 동일한 渐近적 매개변수를 가짐에도 불구하고 다른 치환 규칙이 서로 다른 극한 분포를 초래할 수 있음을 보여주는 것.
• 극한 분포가 정규인지 비정규인지 결정되는 조건을 명확히 하는 것, 특히 $\hat{\gamma} < 1/2$ 인 경우에 중점 두기.

제안 방법

• 드리프트 조건 $f(x) = -h(x)(x-p)$ 를 만족하는 확률적 근사 과정에 대해 중심극한정리(정리 1)를 유도한다. 여기서 $h$ 는 $p$ 근처에서 연속적이고 양수이다.
• 극한 스케일링과 극한 행동를 결정하는 핵심 양인 $\hat{\gamma} = \lim n\gamma_n h(X_{n-1})$ 를 도입한다.
• 드리프트 함수 $f(x) = \alpha x^2 + \beta x + c$ 와 오차 분산 $\mathcal{E}(x) = x(1-x)[a-c+\alpha x]^2$ 를 식별함으로써 중심극한정리를 일반화된 Pólya 우산에 적용한다.
• 기존 결과 [Jan06] 를 활용하여 동일한 $\hat{\gamma}$ 와 $h(p)$ 를 가짐에도 불구하고 다른 극한 법칙을 가진 다양한 우산 과정의 극한 분포를 비교한다.
• $\hat{\gamma} < 1/2$ 인 경우를 정리 2 를 통해 분석하여, 비정규이자 식별 불가능한 분포로 수렴함을 보인다.
• 높은 차수의 구조에 따라 동일한 $\hat{\gamma}$, $h(p)$, 오차 분산을 가짐에도 불구하고 다른 극한 분포를 가질 수 있음을 보여주는 반례를 제시한다.

실험 결과

연구 질문

• RQ1 비영인 오차 항을 가진 확률적 근사 알고리즘이 정규 분포로 수렴하는 조건은 무엇인가?
• RQ2 수열 $n\gamma_n h(X_{n-1})$ 의 渐近적 값이 $X_n - p$ 의 스케일링과 극한 분포를 어떻게 결정하는가?
• RQ3 동일한 $\hat{\gamma}$, $h(p)$, 오차 분산을 가진 두 개의 일반화된 Pólya 우산 과정이 서로 다른 극한 분포를 가지는 이유는 무엇인가?
• RQ4 $\hat{\gamma} < 1/2$ 인 경우 극한 분포는 어떻게 되며, 왜 정규이거나 식별 불가능한가?
• RQ5 초기 조건과 치환 행렬의 구조는 일반화된 Pólya 우산에서 극한 분포에 어떤 영향을 미치는가?

주요 결과

• When $\hat{\gamma} \geq 1/2$, the normalized sequence $n^{1/2}(X_n - p)$ converges in distribution to a normal law, as per Theorem 1.
• For $\hat{\gamma} < 1/2$, the limiting distribution is non-normal and not identified, as shown by Theorem 2 and confirmed via counterexamples.
• Two generalized Pólya urns with identical $\hat{\gamma} = 2/5$, $h(p) = 2$, and $\mathcal{E}(p) = 9/4$ have different limiting distributions: one converges to a distribution related to a stable law, the other to a symmetric, non-normal law.
• The expectation $\mathbb{E}W$ for the $Z$-process is non-zero when $B_0 > 3$, indicating dependence on initial conditions, unlike in the $\hat{\gamma} \geq 1/2$ case.
• The symmetry of the replacement matrix in Friedman’s urn implies that $W'$ is symmetric about zero when $W_0 = B_0 > 0$, but not normal.
• When $h(p) = 0$ (double root), such as in the matrix $\begin{pmatrix}a&0\\b&a\end{pmatrix}$, the limiting behavior is non-normal and governed by different asymptotic laws, as noted in Remark 3.