[논문 리뷰] Beyond Convexity: Stochastic Quasi-Convex Optimization

Elad Hazan, Kfir Y. Levy외 1명|arXiv (Cornell University)|2015. 07. 08.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 50

한 줄 요약

이 논문은 국소-준볼록 및 국소-립시츠 함수를 최적화하기 위해 확률적 정규화 경사내림(Stochastic Normalized Gradient Descent, SNGD)을 도입한다. 이는 경사기반 최적화 방법의 적용 가능 범위를 볼록성 이외의 영역으로 확장한다. SNGD는 $O(1/\epsilon^2)$ 반복 내에 $C2$-최적 해에 수렴함을 증명하며, 수렴을 위해 기울기 폭발 또는 평탄한 영역 문제로 인한 발산을 방지하기 위해 최소한의 미니배치 크기가 필요하다.

ABSTRACT

Stochastic convex optimization is a basic and well studied primitive in machine learning. It is well known that convex and Lipschitz functions can be minimized efficiently using Stochastic Gradient Descent (SGD). The Normalized Gradient Descent (NGD) algorithm, is an adaptation of Gradient Descent, which updates according to the direction of the gradients, rather than the gradients themselves. In this paper we analyze a stochastic version of NGD and prove its convergence to a global minimum for a wider class of functions: we require the functions to be quasi-convex and locally-Lipschitz. Quasi-convexity broadens the con- cept of unimodality to multidimensions and allows for certain types of saddle points, which are a known hurdle for first-order optimization methods such as gradient descent. Locally-Lipschitz functions are only required to be Lipschitz in a small region around the optimum. This assumption circumvents gradient explosion, which is another known hurdle for gradient descent variants. Interestingly, unlike the vanilla SGD algorithm, the stochastic normalized gradient descent algorithm provably requires a minimal minibatch size.

연구 동기 및 목표

• 볼록 함수를 초월하여 더 넓은 비볼록 문제의 범주로 확률적 최적화를 확장하기.
• 특히 기울기 폭발과 평탄한 영역 문제로 인해 제한을 받는 SGD의 한계를 해결하기.
• 국소-준볼록 및 국소-립시츠 함수를 기반으로 한 새로운 최적화 설정을 체계화하기.
• 이러한 조건 하에서 확률적 정규화 경사내림(SNGD) 알고리즘의 수렴성을 분석하기.
• SNGD 수렴을 위해 필요한 최소한의 미니배치 크기의 이론적 하한을 설정하기.

제안 방법

• 기울기 크기보다 방향에 기반해 갱신하는 정규화 경사내림(SNGD)의 확률적 버전을 제안한다.
• 일반화된 단일극점 함수를 允허하는 국소-준볼록성 개념을 도입한다.
• 국소-립시츠 조건을 부과하여 최적점에서 멀리 떨어진 곳에서는 기울기가 유계가 아니더라도 최적점 근처에서는 유계임을 보장한다.
• 업데이트의 안정성과 발산 방지를 위해 최소한의 배치 크기를 사용하는 미니배치 기반 기울기 추정을 사용한다.
• 이산 격자 위의 마르코프 체인 모델을 통해 수렴성을 분석하고, 흠입 확률의 상한을 증명한다.
• 기울기 크기의 상한 $G$를 고려해 일정한 스텝 사이즈 $\eta = \epsilon / G$를 사용한다.

실험 결과

연구 질문

• RQ1 볼록성 이외의 비볼록 문제에 대해 확률적 경사하강법이 증명 가능하게 효과적일 수 있는가?
• RQ2 목적 함수에 어떤 조건이 충족되어야 확률적 환경에서 정규화 경사내림이 수렴하는가?
• RQ3 기본 SGD는 기울기 평탄한 영역이나 폭발이 발생할 경우 왜 실패하는가? 이를 어떻게 완화할 수 있는가?
• RQ4 SNGD 수렴을 위해 필요한 최소한의 미니배치 크기는 무엇이며, 왜 필수적인가?
• RQ5 SNGD는 더 넓은 비볼록 함수의 범주에서 볼록 문제에 대해 SGD와 동일한 수렴 속도를 달성할 수 있는가?

주요 결과

• 국소-준볼록 및 국소-립시츠 함수에 대해 SNGD는 $O(1/\epsilon^2)$ 반복 내에 $\epsilon$-최적 해에 수렴한다.
• 알고리즘이 수렴하기 위해 최소한의 미니배치 크기가 반드시 필요하며, 이보다 작은 배치 크기는 불안정한 기울기 추정으로 인해 발산을 유도할 수 있다.
• 최적점 주변의 $\Omega(\sqrt{\epsilon})$ 영역에서 매끄러운 함수에 대해 SNGD는 더 빠른 $O(1/\epsilon)$ 수렴 속도를 달성한다.
• 주어진 설정 하에서 $\epsilon \leq 0.1$ 이면, SNGD가 언제나 $\epsilon$-최적 해에 도달할 확률은 $\left(\frac{1}{4}\right)^{9}$ 이하로 상한이 제시된다.
• 실험 결과, SNGD는 단일 은닉층 신경망에서 MNIST 데이터셋에서 네스터로프 가속 방법과 유사한 성능을 보였다.
• 미니배치 크기를 늘릴수록 SNGD의 수렴 성능이 크게 향상되며, 이는 이론적으로 더 큰 배치가 필요하다는 것을 뒷받침한다.