[논문 리뷰] Almost sure convergence and asymptotical normality of a generalization of Kesten's stochastic approximation algorithm for multidimensional case

Pedro Cruz-Romero|arXiv (Cornell University)|2011. 05. 26.

Stochastic Gradient Optimization Techniques참고 문헌 3인용 수 5

한 줄 요약

이 논문은 단일 차원 Kesten의 확률적 근사 알고리즘의 다차원 일반화에 대해 거의 확실 수렴성과 점근 정규성을 확립한다. 단계 크기는 연속적인 추정치 증분 간의 스칼라 곱의 부호에 따라 동적으로 조정된다. 핵심 기여는 미세한 정규성 조건 하에 $\tilde{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$ 를 증명하는 것으로, $V$ 는 리아푸노프 방정식의 해이며, 이는 최적의 수렴 속도와 분포 한계를 보장한다.

ABSTRACT

It is shown the almost sure convergence and asymptotical normality of a generalization of Kesten's stochastic approximation algorithm for multidimensional case. In this generalization, the step increases or decreases if the scalar product of two subsequente increments of the estimates is positive or negative. This rule is intended to accelerate the entrance in the `stochastic behaviour' when initial conditions cause the algorithm to behave in a `deterministic fashion' for the starting iterations.

연구 동기 및 목표

• Kesten의 확률적 근사 알고리즘을 동적 단계 크기 제어를 갖는 다차원 경우로 일반화한다.
• 벡터장과 노이즈에 대한 일반적인 조건 하에 알고리즘의 거의 확실 수렴성을 확립한다.
• 추가적인 정규성 조건과 모멘트 조건 하에 추정치의 점근 정규성을 도출한다.
• 초기 조건이 결정론적 행동을 유도할 경우 수렴을 가속화하는 시그모이드 기반 동적 규칙의 사용을 정당화한다.

제안 방법

• 연속된 기울기 추정치 간의 스칼라 곱의 부호에 따라 단계 크기를 조정하기 위해 $s_t = (s_{t-1} + \mathrm{u}(-y_t^T y_{t-1}))^+$ 를 사용하는 동적 단계 크기 규칙을 도입한다. 여기서 $\mathrm{u}$ 는 시그모이드 함수이다.
• 안정성 분석을 위해 $V(x^*) = 0$, $\nabla^2 V(x) \leq M$, 그리고 $x \neq x^*$ 에 대해 $\varphi(x)^T \nabla V(x) > 0$ 를 만족하는 리아푸노프 함수 $V(x)$ 를 사용한다.
• 독립 동일분포인 노이즈 $\xi_t$ 를 갖는 마팅게일 차분 수열 프레임워크를 사용하며, 평균은 0이고 공분산은 $S_\xi$ 이다.
• 스토크스의 법칙과 마팅게일 수렴 정리 등을 적용하여 확률적 항목의 행동을 제어한다.
• 점근 정규성을 도출하기 위해 $\sqrt{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$ 를 증명하며, 여기서 $V$ 는 리아푸노프 방정식 $A V + V A^T = \Sigma$ 의 해이다.
• 슬라츠키의 정리와 균일 적분 가능성을 활용하여 동적 단계 크기 메커니즘 하에서 확률 수렴과 분포 수렴을 연결한다.

실험 결과

연구 질문

• RQ1 제안된 동적 단계 크기 규칙은 다차원 경우에서 진짜 해로의 확률적 근사 수렴 수렴성을 보장하는가?
• RQ2 알고리즘이 어떤 조건에서 점근 정규성을 달성하며, 정규화된 오차의 한계 분포는 무엇인가?
• RQ3 스칼라 곱 기반 단계 크기 적응은 초기 조건이 결정론적 행동을 유도할 경우 수렴을 어떻게 향상시키는가?
• RQ4 기대값 $\mathrm{E}_0 = \lim_{\omega \to 0^+} \mathrm{E}[\mathrm{u}(X^{(\omega)})]$ 는 수렴성과 점근 정규성 보장에 어떤 역할을 하는가?
• RQ5 주어진 가정 하에 점근 분산 $V$ 는 리아푸노프 방정식의 유일한 해로 특징지어질 수 있는가?

주요 결과

• 리아푸노프 함수 조건과 양의 극한 $\mathrm{E}_0 > 0$ 을 포함한 가정 B1–B4 하에 $x_t$ 가 진짜 해 $x^*$ 로 거의 확실하게 수렴함을 입증하였다.
• 추가 가정 B3.3, B3.4, 및 B4.3 가 만족될 경우 점근 정규성이 성립하며, $\sqrt{t}(x_t - x^*) \xrightarrow{d} \mathcal{N}(0,V)$ 를 만족한다.
• 점근 분산 $V$ 는 리아푸노프 방정식 $A V + V A^T = \Sigma$ 의 유일한 양의 정부호 해이며, 여기서 $A = \varphi'(x^*)$ 이고 $\Sigma$ 는 노이즈의 공분산 행렬이다.
• 단계 크기 조정 규칙은 $y_t^T y_{t-1}$ 의 부호에 기반하며, 알고리즘이 확률적 영역에 진입할 경우 단계 크기를 줄여 수렴 속도를 향상시킨다.
• 주어진 조건 하에서 수렴 속도 $\sqrt{t}$ 는 최적이며, 한계 분포는 평균이 0이고 공분산이 $V$ 인 다변량 정규분포이다.
• 증명은 시간에 따라 변하는 단계 크기에도 불구하고 마팅게일 수렴, 균일 적분 가능성, 슬라츠키의 정리를 활용하여 분포 수렴을 확립하는 데 의존한다.