[논문 리뷰] Convergence Analysis of Riemannian Stochastic Approximation Schemes

Alain Durmus, Pablo Jiménez외 3명|arXiv (Cornell University)|2020. 05. 27.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 다양한 리만 다양체 위에서 편향된 벡터장, 제어된 마코프 샘플링, 지수 사상 대신 수축 맵을 사용하는 Riemannian 확률적 근사 방법에 대한 전역 수렴 분석을 제시한다. 수렴 속도는 𝒪(b∞ + log n / √n)로 나타나며, 사전에 유계성이나 지오데식 볼록성 가정 없이도 성립한다.

ABSTRACT

This paper analyzes the convergence for a large class of Riemannian stochastic approximation (SA) schemes, which aim at tackling stochastic optimization problems. In particular, the recursions we study use either the exponential map of the considered manifold (geodesic schemes) or more general retraction functions (retraction schemes) used as a proxy for the exponential map. Such approximations are of great interest since they are low complexity alternatives to geodesic schemes. Under the assumption that the mean field of the SA is correlated with the gradient of a smooth Lyapunov function (possibly non-convex), we show that the above Riemannian SA schemes find an ${\mathcal{O}}(b_\infty + \log n / \sqrt{n})$-stationary point (in expectation) within ${\mathcal{O}}(n)$ iterations, where $b_\infty \geq 0$ is the asymptotic bias. Compared to previous works, the conditions we derive are considerably milder. First, all our analysis are global as we do not assume iterates to be a-priori bounded. Second, we study biased SA schemes. To be more specific, we consider the case where the mean-field function can only be estimated up to a small bias, and/or the case in which the samples are drawn from a controlled Markov chain. Third, the conditions on retractions required to ensure convergence of the related SA schemes are weak and hold for well-known examples. We illustrate our results on three machine learning problems.

연구 동기 및 목표

• 일반적인 Riemannian 다각체 위에서 완화된 가정 하에 Riemannian 확률적 근사 방법의 수렴성을 분석하는 것.
• 표준 지수 사상 외에도 계산적으로 실현 가능한 수축 기반 방법으로까지 수렴 보장을 확장하는 것.
• 확률적 근사 프레임워크 내에서 편향된 평균장 추정기와 마코프 샘플링을 다루는 것.
• 반복값의 사전 유계성과 지오데식 볼록성의 필요성을 제거하여 전역 수렴 결과를 도출하는 것.
• 평균장과 샘플링 메커니즘에 대한 약한 정규성 조건 하에서 지오데식 및 수축 기반 방법의 비점근 수렴 속도를 도출하는 것.

제안 방법

• 상태 공간 위의 적분을 통해 정의된 평균 벡터장 h에 대해, 다각체 위에서 θ가 h(θ) = 0을 만족하는 지점을 찾는 근 찾기 문제로 문제를 설정한다.
• 지수 사상 또는 수축 맵을 사용하여 반복값을 갱신하는 Riemannian 확률적 근사 방법을 제안한다: θ_{n+1} = Retr_{θ_n}(η_{n+1} H_{θ_n}(X_{n+1})).
• 반복값의 사전 유계성 없이, 지오데식 볼록성이 없이, 편향되거나 마코프 샘플링이 가능한 약한 조건 하에서 수렴성을 분석한다.
• 확률 과정의 점근적 행동을 연구하기 위해 리만 기하학에 적응된 ODE 방법을 적용한다.
• 평행 이동, 헤시안 유계성, 곡률 제어 등 리만 기하학 도구를 사용하여 안정성과 수렴 성질을 도출한다.
• 마팅게일 기법과 모멘트 유계를 활용하여 다각체의 구조와 수축의 성질을 고려해 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 반복값의 유계성이나 지오데식 볼록성을 가정하지 않더라도 Riemannian 확률적 근사가 전역적으로 수렴할 수 있는가?
• RQ2 벡터장 추정기의 편향은 Riemannian SA 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 샘플링 분포가 현재 반복값에 따라 제어되는 마코프 체인에 의해 결정될 경우, 어떤 수렴 보장이 성립하는가?
• RQ4 수렴 성질을 유지하면서 지수 사상 대신 수축 맵을 얼마나 넓게 대체할 수 있는가?
• RQ5 평균장과 샘플링 메커니즘에 대해 약한 가정이 있을 때, Riemannian SA의 비점근 수렴 속도는 무엇으로 도출될 수 있는가?

주요 결과

• 제안된 Riemannian 확률적 근사 방법은 평균장의 기대 제곱 노름에 대해 𝒪(b∞ + log n / √n)의 수렴 속도를 확보한다. 여기서 b∞는 점점 줄어드는 편향의 점근적 값이다.
• 반복값의 사전 유계성이나 다각체의 컴act성 조건 없이도 전역 수렴이 보장된다.
• 많은 실용적 설정(예: QR 기반 또는 펄라 수축 등)에서 만족되는 약한 수축 조건 하에서도 분석이 유효하다.
• 샘플이 제어된 마코프 체인으로 생성될 경우에도 수렴 결과가 성립하여, 온라인 학습 및 강화 학습 설정으로의 적용 범위가 넓어진다.
• 주성분 분석 및 Riemannian 바리센터 계산과 같은 비볼록 문제에도 적용 가능하며, 임계점 수렴에 대한 이론적 보장을 제공한다.
• 지수 사상 대신 계산적으로 더 저렴한 수축을 사용함으로써 Riemannian 최적화에서 수렴 보장을 유지할 수 있는 이론적 기반을 제공한다.