[논문 리뷰] Sharp Analysis of Stochastic Optimization under Global Kurdyka-Łojasiewicz Inequality

Ilyas Fatkhullin, Jalal Etesami외 2명|arXiv (Cornell University)|2022. 10. 04.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 전역 Kurdyka-Łojasiewicz (KŁ) 부등식 하에서 확률적 최적화의 날카운 복잡도 분석을 제공하며, 분산 감소와 재시작을 통합한 수정된 SGD인 PAGER를 도입하여 α-PŁ 함수에 대해 최적의 표본 복잡도 $ olcal{O}( epsilon^{-2/ alpha})$ 를 달성한다. 이는 α=1인 경우 강화학습에서 중요한 경우에 대해 최초로 최적 알고리즘을 확립한다. 경량의 기대 미분 가능성 가정 하에 성립한다.

ABSTRACT

We study the complexity of finding the global solution to stochastic nonconvex optimization when the objective function satisfies global Kurdyka-Lojasiewicz (KL) inequality and the queries from stochastic gradient oracles satisfy mild expected smoothness assumption. We first introduce a general framework to analyze Stochastic Gradient Descent (SGD) and its associated nonlinear dynamics under the setting. As a byproduct of our analysis, we obtain a sample complexity of $\mathcal{O}(ε^{-(4-α)/α})$ for SGD when the objective satisfies the so called $α$-PL condition, where $α$ is the degree of gradient domination. Furthermore, we show that a modified SGD with variance reduction and restarting (PAGER) achieves an improved sample complexity of $\mathcal{O}(ε^{-2/α})$ when the objective satisfies the average smoothness assumption. This leads to the first optimal algorithm for the important case of $α=1$ which appears in applications such as policy optimization in reinforcement learning.

연구 동기 및 목표

• 전역 Kurdyka-Łojasiewicz (KŁ) 부등식 하에서의 확률적 최적화에 대한 표본 복잡도 분석의 격차를 메우기.
• SGD 및 그 변형의 성능을 α=2에 국한되지 않는 더 넓은 $\alpha$-PŁ 조건 하에서 분석하기.
• 분산 감소와 재시작을 융합한 새로운 알고리즘인 PAGER를 개발하고 분석하여 최적 수렴 속도를 달성하기.
• 경량의 기대 미분 가능성 가정 하에 SGD 및 PAGER의 이론적 표본 복잡도 경계 설정하기.
• CartPole 및 Acrobot과 같은 강화학습 환경에서 이론적 결과를 실증적으로 검증하기.

제안 방법

• 전역 KŁ 조건 하에서 SGD 및 비선형 동역학을 분석하기 위한 일반적 프레임워크 제안.
• 함수 값의 진전에 기반한 적응형 분산 감소와 동적 재시작을 갖는 SGD의 변형인 PAGER 알고리즘 도입.
• 수렴 속도와 분산 감소의 균형을 이루기 위해 PAGER에서 시간에 따라 변화하는 스텝 사이즈 및 배치 크기 스케줄 사용.
• 전역 최적화를 특성화하기 위해 $||\nabla f(x)|| \geq \sqrt{2\mu} (f(x) - f^*)^{1/\alpha}$ 를 만족하는 $\alpha$-PŁ 조건 사용.
• 강화학습 응용에서의 분포 이탈을 다루기 위해 중요도 가중치 및 궤적 기반 그래디언트 추정기(예: GPOMDP) 적용.
• 리아푸노프 분석 및 동역학의 확률적 미분 방정식 근사법을 통해 이론적 표본 복잡도 경계 유도.

실험 결과

연구 질문

• RQ1 전역 $\alpha$-PŁ 조건 하에서 비볼록 확률적 최적화에 대한 SGD의 최적 표본 복잡도는 무엇인가?
• RQ2 분산 감소와 재시작은 $\alpha$-PŁ 조건 하에서 SGD의 수렴 속도를 향상시킬 수 있는가?
• RQ3 α-PŁ 함수에 대해 최적의 $ olcal{O}(\nepsilon^{-2/\nalpha})$ 표본 복잡도를 달성하는 확률적 최적화 알고리즘이 존재하는가?
• RQ4 실제로 PAGER의 성능은 SGD 및 재시작이 없는 PAGE와 비교해 어떻게 되는가? 특히 강화학습 과제에서.
• RQ5 적응형 배치 크기 및 스텝 사이즈 스케줄링은 $\alpha$-PŁ 조건 하에서 최적 수렴을 달성하는 데 어떤 역할을 하는가?

주요 결과

• 경량의 기대 미분 가능성 조건 하에서 α-PŁ 함수에 대해 SGD는 표본 복잡도 $ olcal{O}(\nepsilon^{-(4-\nalpha)/\nalpha})$ 를 달성한다.
• 같은 조건 하에서 분산 감소 및 재시작 기능을 갖춘 PAGER는 향상된 표본 복잡도 $ olcal{O}(\nepsilon^{-2/\nalpha})$ 를 달성한다.
• α = 1 인 경우 PAGER는 최적의 $ olcal{O}(\nepsilon^{-2})$ 표본 복잡도를 달성하며, 이는 문헌에서 최초의 결과이다.
• CartPole 및 Acrobot에서의 실증 결과는 PAGER가 SGD보다 약 3배 빠르게 수렴하고, 재시작이 없는 PAGE를 능가함을 보여주며, 재시작의 이점을 검증한다.
• PAGER의 분산 감소 및 동적 매개변수 조정은 SGD 및 PAGE에 비해 최적화 근처에서 더 안정적인 수렴을 이끈다.
• 이론적 표본 복잡도 경계는 시뮬레이션을 통해 검증되었으며, 실증 성능 경향과 강한 일치를 보였다.