[논문 리뷰] Dynamics of stochastic approximation with Markov iterate-dependent noise with the stability of the iterates not ensured

Prasenjit Karmakar, Shalabh Bhatnagar|arXiv (Cornell University)|2016. 01. 10.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 마르코프 반복에 의존하는 노이즈를 가진 확률적 근사에 대한 잠금 확률 프레임워크를 수립하며, 유계 노이즈 지원 하에서 하한을 제공하고, 반복이 渐近적으로 안정적일 때 거의 확실 수렴을 증명한다. 이는 반복의 사전 안정성 가정 없이 적응형 알고리즘에서 단계 크기 선택을 위한 샘플 복잡도 추정을 가능하게 한다.

ABSTRACT

This paper compiles several aspects of the dynamics of stochastic approximation algorithms with Markov iterate-dependent noise when the iterates are not known to be stable beforehand. We achieve the same by extending the lock-in probability (i.e. the probability of convergence to a specific attractor of the limiting o.d.e. given that the iterates are in its domain of attraction after a sufficiently large number of iterations (say) n0) framework to such recursions. Specifically, with the more restrictive assumption of Markov iterate-dependent noise supported on a bounded subset of the Euclidean space we give a lower bound for the lock-in probability. We use these results to prove almost sure convergence of the iterates to the specified attractor when the iterates satisfy an asymptotic tightness condition. This, in turn, helps in analyzing the tracking ability of general adaptive algorithms. Additionally, we show that our results can be used to derive a extit{sample complexity estimate} of such recursions, which then can be used for step-size selection.

연구 동기 및 목표

• 마르코프 반복에 의존하는 노이즈를 가진 확률적 근사 알고리즘으로 잠금 확률 프레임워크를 확장하기.
• 유계 노이즈 지원 하에서 잠금 확률에 대한 하한을 수립하기.
• 반복이 渐진적으로 안정적일 때 거의 확실 수렴을 증명하기.
• 적응형 알고리즘에서 단계 크기 선택을 위한 샘플 복잡도 추정을 유도하기.
• 불안정한 반복 역학 하에서 일반 적응형 시스템의 추적 성능 분석하기.

제안 방법

• 노이즈 분포가 현재 반복에 의존하는 마르코프 의존 노이즈를 가진 재귀에 잠금 확률 개념을 확장한다.
• 노이즈 행동에 대한 측정 가능한 확률적 통제를 보장하기 위해 마르코프 노이즈에 대해 유계 지지 조건을 도입한다.
• 장기적 행동 분석을 위해 한계 미분방정식(ODE) 프레임워크를 사용한다.
• 특정 ODE의 흡인점으로의 수렴을 보장하기 위해 渐진적 안정성 조건을 적용한다.
• 단계 크기 선택을 위한 샘플 복잡도 추정을 잠금 확률 하한 기반으로 유도한다.
• 확률적 분석과 ODE 기반 안정성 이론을 조합하여 비안정한 반복을 다룬다.

실험 결과

연구 질문

• RQ1 마르코프 반복에 의존하는 노이즈 하에서, 한계 ODE의 특정 흡인점으로 수렴할 확률에 대한 하한은 무엇인가?
• RQ2 비 i.i.d. 노이즈가 반복에 의존하는 확률적 근사에 대해 잠금 확률은 어떻게 확장할 수 있는가?
• RQ3 반복이 사전 안정성이 없을 때, 확률적 재귀는 어떤 조건에서 거의 확실 수렴하는가?
• RQ4 이러한 재귀에 대해 샘플 복잡도 추정을 도출할 수 있는가? 이를 통해 단계 크기 선택을 안내할 수 있는가?
• RQ5 적응형 알고리즘의 추적 성능은 노이즈 구조와 반복 역학에 따라 어떻게 달라지는가?

주요 결과

• 유클리드 공간의 유계 부분집합에서 정의된 마르코프 반복에 의존하는 노이즈를 가진 확률적 근사에 대해 잠금 확률의 하한이 확립되었다.
• 반복이 渐진적으로 안정적이라는 가정 하에, 한계 ODE의 특정 흡인점으로 거의 확실 수렴이 증명되었다.
• 제안된 프레임워크는 재귀에 대한 샘플 복잡도 추정을 도출할 수 있게 하여, 단계 크기 선택에 기여할 수 있다.
• 결과는 불안정한 반복 역학 하에서 일반 적응형 알고리즘의 추적 능력 분석에 적용 가능하다.
• 이 방법은 반복 안정성에 대한 사전 지식이 필요 없어 실제 적응형 시스템에 대한 적용 가능성을 넓힌다.
• 분석은 비 i.i.d. 노이즈 환경에서 강건한 단계 크기 조정을 위한 이론적 기반을 제공한다.