[논문 리뷰] On Stochastic Moving-Average Estimators for Non-Convex Optimization.

Zhishuai Guo, Yi Xu외 3명|arXiv (Cornell University)|2021. 04. 30.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 11

한 줄 요약

이 논문은 일반적인 불편성 없는 확률적 오라클을 사용하여 비볼록 최적화를 위한 확률적 이동평균 추정기(SeMA) 프레임워크를 소개한다. 증가하는 동역학을 가진 Adam 스타일의 방법에 대한 수렴성을 확립하고, 더 나아가 최소-최대 및 비선형 문제에 대한 단일 루프 방법을 제안하며, 모든 설정에서 분산 감소 성질을 증명한다.

ABSTRACT

In this paper, we demonstrate the power of a widely used stochastic estimator based on moving average (SEMA) on a range of stochastic non-convex optimization problems, which only requires {\bf a general unbiased stochastic oracle}. We analyze various stochastic methods (existing or newly proposed) based on the {\bf variance recursion property} of SEMA for three families of non-convex optimization, namely standard stochastic non-convex minimization, stochastic non-convex strongly-concave min-max optimization, and stochastic bilevel optimization. Our contributions include: (i) for standard stochastic non-convex minimization, we present a simple and intuitive proof of convergence for a family Adam-style methods (including Adam) with an increasing or large momentum parameter for the first-order moment, which gives an alternative yet more natural way to guarantee Adam converge; (ii) for stochastic non-convex strongly-concave min-max optimization, we present a single-loop stochastic gradient descent ascent method based on the moving average estimators and establish its oracle complexity of $O(1/\epsilon^4)$ without using a large mini-batch size, addressing a gap in the literature; (iii) for stochastic bilevel optimization, we present a single-loop stochastic method based on the moving average estimators and establish its oracle complexity of $\widetilde O(1/\epsilon^4)$ without computing the inverse or SVD of the Hessian matrix, improving state-of-the-art results. For all these problems, we also establish a variance diminishing result for the used stochastic gradient estimators.

연구 동기 및 목표

• 일반적인 불편성 없는 확률적 오라클을 사용하여 비볼록 최적화를 분석하는 통합 프레임워크를 개발하는 것.
• 비볼록 환경에서 증가하는 동역학을 가진 Adam 스타일의 방법에 대한 새로운 수렴 증명을 제공하는 것.
• 스토하스틱 비볼록 강력-볼록 최소-최대 및 비선형 최적화 문제에서 오라클 복잡도의 격차를 메우는 것.
• 비선형 최적화에서 큰 미니배치 크기나 헤시안 역행렬 계산에 의존하지 않는 것.
• 모든 세 가지 문제 유형에서 스토하스틱 기울기 추정기의 분산 감소 성질을 확립하는 것.

제안 방법

• 논문은 스토하스틱 이동평균 추정기(SeMA)의 분산 재귀 성질을 중심 분석 도구로 활용한다.
• SeMA를 사용하여 비볼록 강력-볼록 최소-최대 문제에 대한 단일 루프 스토하스틱 기울기 하강상승 방법을 설계한다.
• 비선형 최적화의 경우, 헤시안 역행렬 계산이나 SVD를 수행하지 않는 단일 루프 방법을 제안한다.
• 수렴을 보장하기 위해 일阶 모멘트 추정에서 증가하거나 큰 파rameter를 사용하는 동역학을 활용한다.
• 이동평균 기울기 추정기의 분산 감쇠 행동을 분석하여 수렴성을 확립한다.
• 이론적 분석은 비볼록 최적화의 표준 가정 하에 오라클 복잡도 경계에 기반한다.

실험 결과

연구 질문

• RQ1 증가하는 동역학을 가진 Adam 스타일의 방법이 비볼록 환경에서 더 단순하고 직관적인 증명으로 수렴할 수 있는가?
• RQ2 큰 미니배치 크기를 요구하지 않고도, 스토하스틱 비볼록 강력-볼록 최소-최대 문제에 대해 최적의 오라클 복잡도를 달성할 수 있는 단일 루프 방법이 가능한가?
• RQ3 헤시안 역행렬 계산이나 SVD 계산을 피하면서도 비선형 최적화를 단일 루프 방법으로 해결할 수 있는가?
• RQ4 SeMA 추정기는 다양한 비볼록 최적화 유형에서 분산 감소 성질을 보여주는가?
• RQ5 이 세 유형의 스토하스틱 비볼록 문제에서 달성 가능한 가장 날카로운 오라클 복잡도는 무엇인가?

주요 결과

• 비볼록 최적화에서 증가하는 동역학을 가진 Adam 스타일의 방법에 대한 새로운 직관적인 수렴 증명이 확립되었다.
• 비볼록 강력-볼록 최소-최대 문제에 대한 제안된 단일 루프 방법은 큰 미니배치 크기를 요구하지 않으며, 오라클 복잡도 $O(1/\epsilon^4)$를 달성한다.
• 스토하스틱 비선형 최적화의 경우, 헤시안 역행렬이나 SVD를 계산하지 않아도 되는 거의 최적의 오라클 복잡도 $\widetilde{O}(1/\epsilon^4)$를 달성한다.
• 모든 세 가지 문제 유형에서 사용된 스토하스틱 기울기 추정기의 분산 감소 성질을 증명하였다.
• 최소-최대 및 비선형 최적화 설정 모두에서 최신 기술의 복잡도 경계를 향상시켰다.
• SeMA 프레임워크는 다양한 비볼록 최적화 문제에 걸쳐 통합적인 분석 접근법을 제공한다.