[논문 리뷰] Exponential Step Sizes for Non-Convex Optimization.

Xiaoyu Li, Zhenxun Zhuang외 1명|arXiv (Cornell University)|2020. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 7

한 줄 요약

이 논문은 부드러운 비볼록 함수에 대한 확률적 최적화에서 폴리악-로자예프스키(Polyak-Łojasiewicz, PL) 조건 하에 지수적 단계 크기를 제안하며, 노이즈가 없는 경우 선형적이고 노이즈가 있는 경우 $O(1/T)$와 중간 정도의 행동을 보이는 적응형 수렴 속도를 달성한다. 다항로그 요소를 고려할 때 이는 가능하다. PL 조건이 없을 경우에도 임계점으로의 최적 수렴을 로그 요소를 고려해 보장하며, 딥러닝 데이터셋에서 검증되었다.

ABSTRACT

Stochastic Gradient Descent (SGD) is a popular tool in large scale optimization of machine learning objective functions. However, the performance is greatly variable, depending on the choice of the step sizes. In this paper, we introduce the exponential step sizes for stochastic optimization of smooth non-convex functions which satisfy the Polyak-Łojasiewicz (PL) condition. We show that, without any information on the level of noise over the stochastic gradients, these step sizes guarantee a convergence rate for the last iterate that automatically interpolates between a linear rate (in the noisy-free case) and a $O(\frac{1}{T})$ rate (in the noisy case), up to poly-logarithmic factors. Moreover, if without the PL condition, the exponential step sizes still guarantee optimal convergence to a critical point, up to logarithmic factors. We also validate our theoretical results with empirical experiments on real-world datasets with deep learning architectures.

연구 동기 및 목표

• 대규모 비볼록 최적화에서 단계 크기 선택으로 인한 확률적 경사하강법(SGD) 성능의 높은 변동성을 해결하기 위해.
• 사전에 노이즈 수준을 알지 못해도 확률적 경사하강법의 노이즈 수준에 자동으로 적응하는 단계 크기 전략을 개발하기 위해.
• 특히 폴리악-로자예프스키(PL) 조건 하에서 비볼록 설정에서 마지막 반복의 수렴 보장을 수립하기 위해.
• PL 조건을 초월한 수렴 결과를 확장하여, 로그 요소를 고려해 임계점으로의 최적 수렴을 보장하기 위해.

제안 방법

• 반복 과정에서 기하급수적으로 감쇠하는 지수적 단계 크기를 제안하여, 노이즈 추정 없이 최적화 경로에 자동으로 적응한다.
• 폴리악-로자예프스키(PL) 조건 하에서의 수렴을 분석하여, 지수적 단계 크기가 선형 수렴과 $O(1/T)$ 사이를 다항로그 요소를 고려해 보간하는 수렴 속도를 달성함을 보여준다.
• 부드러운 비볼록 함수와 확률적 경사하강법의 성질을 활용하여 마지막 반복의 기대 최적성 갭에 대한 이론적 경계를 유도한다.
• PL 조건이 성립하지 않을 경우에도 지수적 단계 크기가 로그 요소를 고려해 임계점으로의 최적 수렴을 이룬다는 것을 입증한다.
• 단계 크기 감쇠와 경사 노이즈 분산 간의 상호작용을 고려한 새로운 분석 프레임워크를 활용한다.
• 표준 아키텍처를 사용한 실제 딥러닝 데이터셋에서의 실험을 통해 이론적 결과를 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 지수적 단계 크기는 노이즈 수준에 대한 사전 지식 없이도 비볼록 확률적 최적화에서 적응형 수렴 속도를 달성할 수 있는가?
• RQ2 지수적 단계 크기를 사용할 경우 폴리악-로자예프스키(PL) 조건 하에서 마지막 반복의 수렴 속도는 어떻게 행동하는가?
• RQ3 PL 조건이 성립하지 않을 경우 지수적 단계 크기의 수렴 보장을 어떻게 제공할 수 있는가?
• RQ4 지수적 단계 크기는 비볼록 설정에서 임계점으로의 최적 수렴을 어느 정도 보장하는가?
• RQ5 지수적 단계 크기는 딥러닝 응용에서 표준 SGD와 비교해 실제로 어떻게 성능을 보이는가?

주요 결과

• PL 조건 하에서 지수적 단계 크기는 노이즈가 없는 경우 선형 수렴과 노이즈가 있는 경우 $O(1/T)$ 사이를 다항로그 요소를 고려해 보간하는 마지막 반복의 수렴 속도를 보장한다.
• PL 조건이 없을 경우에도 지수적 단계 크기는 로그 요소를 고려해 임계점으로의 최적 수렴을 달성한다.
• 단계 크기 감쇠가 노이즈 수준에 자동으로 적응하여 명시적인 노이즈 추정이 필요로 하지 않는다.
• 실제 딥러닝 데이터셋에서의 실험 결과는 지수적 단계 크기가 표준 SGD보다 이론적 이점을 보임을 확인한다.
• 제안된 단계 크기 전략은 다양한 노이즈 환경에서 안정적이고 빠른 수렴 성능을 보장한다.