[논문 리뷰] Efficiently avoiding saddle points with zero order methods: No gradients required

Lampros Flokas, Emmanouil-Vasileios Vlatakis-Gkaragkounis외 1명|arXiv (Cornell University)|2019. 10. 29.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 7

한 줄 요약

이 논문은 기울기 정보가 필요 없이 비볼록 최적화에서 안장점(saddle points)을 효율적으로 피하는 제로차수 최적화 방법을 제안한다. 노이즈가 섞인 근사 기울기 추정과 안정 다변량정리 기반 분석을 결합함으로써, 단지 $\tilde{\mathcal{O}}(1/\epsilon^2)$개의 함수 평가만으로도 두 번째 차수 정적점(second-order stationary points)으로 수렴한다. 이는 일阶 최적화 방법의 수렴 속도를 따라가며 차원에 의존하는 느려짐을 피한다.

ABSTRACT

We consider the case of derivative-free algorithms for non-convex optimization, also known as zero order algorithms, that use only function evaluations rather than gradients. For a wide variety of gradient approximators based on finite differences, we establish asymptotic convergence to second order stationary points using a carefully tailored application of the Stable Manifold Theorem. Regarding efficiency, we introduce a noisy zero-order method that converges to second order stationary points, i.e avoids saddle points. Our algorithm uses only $ ilde{\mathcal{O}}(1 / ε^2)$ approximate gradient calculations and, thus, it matches the converge rate guarantees of their exact gradient counterparts up to constants. In contrast to previous work, our convergence rate analysis avoids imposing additional dimension dependent slowdowns in the number of iterations required for non-convex zero order optimization.

연구 동기 및 목표

• 기울기를 얻기 어려운 혹은 계산이 불가능한 환경에서 비볼록 최적화 문제를 다루는 데 목적을 두며.
• 엄밀한 안장점을 피하고 두 번째 차수 정적점(SOSPs)으로 수렴하는 제로차수 방법을 개발하는 것.
• 함수 평가 수준에서 일阶 최적화 방법의 수렴 속도를 따라가며, 차원에 의존하는 느려짐을 피하는 것.
• 제로차수 알고리즘에 대해 안정다변량정리를 보다 정교하게 적용하여 渐近 수렴 보장을 확립하는 것.

제안 방법

• 함수 평가로부터 유한차분을 이용해 기울기를 근사하는 노이즈가 섞인 제로차수 방법을 적용한다.
• 안정다변량정리를 활용해 안장점에서 벗어나기 위해 편향 전략을 적용한다.
• 수렴이 고확률로 이루어지도록 신중하게 설계된 단계 크기와 노이즈 수준을 사용한다.
• 제로차수 반복에 대해 안정다변량정리를 새로운 방식으로 적용하여 수렴성을 분석한다.
• 함수 평가 횟수를 $\tilde{\mathcal{O}}(d/\epsilon^2)$로 제한하여 일阶 최적화 방법의 효율성과 동일하게 만든다.
• 기울기 접근 없이도 안장점에서의 탈출을 분석할 수 있는 이론적 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 기울기 접근이 없는 비볼록 최적화에서 제로차수 방법이 안장점을 효율적으로 피할 수 있는가?
• RQ2 오직 함수 평가만으로 두 번째 차수 정적점으로 수렴할 수 있는가?
• RQ3 제로차수 방법의 수렴 속도가 함수 평가 수준에서 일阶 최적화 방법과 동일하게 유지될 수 있는가?
• RQ4 제안된 방법은 이전의 제로차수 접근에서 흔히 발생하는 차원에 의존하는 느려짐을 피할 수 있는가?
• RQ5 안정다변량정리는 제로차수 최적화 동역학을 분석하는 데 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 제로차수 방법은 점점 두 번째 차수 정적점으로 수렴하며, 엄밀한 안장점을 피한다.
• 해당 방법은 단지 $\tilde{\mathcal{O}}(1/\epsilon^2)$개의 근사 기울기 평가만으로도 일阶 최적화 방법의 속도를 따라간다.
• 함수 평가 횟수는 $\tilde{\mathcal{O}}(d/\epsilon^2)$이며, 신뢰영역 방법의 $\tilde{\mathcal{O}}(d^4/\epsilon^4)$ 비용을 피한다.
• 안장점 주변의 편향과 안정다변량의 체적 분석을 활용하여 고확률 $1 - \delta$ 수준에서 수렴을 달성한다.
• 이전 연구들과 달리, 이 분석은 차원에 의존하는 느려짐을 피하며, 이는 이전 연구들이 $\tilde{\mathcal{O}}(d/\epsilon^2)$회의 반복과 더 높은 함수 평가 비용을 지닌다는 점에서 다르다.
• 노이즈가 있는 제로차수 반복에 대해 안정다변량정리를 보다 정교하게 적용하여 이론적 보장을 확립한다.