[논문 리뷰] Gradient Descent Efficiently Finds the Cubic-Regularized Non-Convex Newton Step

Yair Carmon, John C. Duchi|arXiv (Cornell University)|2016. 12. 02.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 58

한 줄 요약

이 논문은 경사 하강법이 삼차 정규화된 비볼록 뉴턴 단계의 전역 최적해를 효율적으로 근사함을 보여주며, 큰 $\varepsilon$의 경우 $O(\varepsilon^{-1}\log(1/\varepsilon))$ 단계, 작은 $\varepsilon$의 경우 $O(\log(1/\varepsilon))$ 단계 내에 $\varepsilon$-정확도를 달성하며, 차원에 대해 로그적 의존성을 보인다. 이 결과는 일반적인 매끄러운 비볼록 함수에 대해 제2차 정적점으로의 수렴 속도를 확립한다.

ABSTRACT

We consider the minimization of non-convex quadratic forms regularized by a cubic term, which exhibit multiple saddle points and poor local minima. Nonetheless, we prove that, under mild assumptions, gradient descent approximates the $ extit{global minimum}$ to within $\varepsilon$ accuracy in $O(\varepsilon^{-1}\log(1/\varepsilon))$ steps for large $\varepsilon$ and $O(\log(1/\varepsilon))$ steps for small $\varepsilon$ (compared to a condition number we define), with at most logarithmic dependence on the problem dimension. When we use gradient descent to approximate the Nesterov-Polyak cubic-regularized Newton step, our result implies a rate of convergence to second-order stationary points of general smooth non-convex functions.

연구 동기 및 목표

• 삼차 항으로 정규화된 비볼록 이차 형식을 최소화하기 위해 경사 하강법의 수렴성을 분석하는 것.
• 약한 가정 하에 전역 최소값으로의 수렴 속도를 확립하는 것.
• 경사 하강법이 Nesterov-Polyak의 삼차 정규화된 뉴턴 단계를 낮은 차원 의존성으로 근사할 수 있음을 보여주는 것.
• 일반적인 매끄러운 비볼록 함수에 대해 제2차 정적점으로의 수렴 속도를 유도하는 것.

제안 방법

• 경사 하강법이 삼차 항으로 정규화된 비볼록 이차 함수를 최소화하는 데 적용된다.
• 문제의 난이도와 $\varepsilon$에 대한 의존성을 기술하기 위해 조건수를 도입한다.
• 부드러움과 곡률 가정을 바탕으로 수렴 한계를 유도하며, 차원에 대해 로그적 의존성을 갖는다.
• 삼차 정규화된 뉴턴 단계의 구조를 활용하여 필요한 반복 수를 제한한다.
• 목표 함수 갭의 오차 제어를 통한 반복적 내림(descent)을 통해 이론적 보장을 확립한다.

실험 결과

연구 질문

• RQ1 경사 하강법은 삼차 정규화된 비볼록 이차 형식의 전역 최소값을 효율적으로 근사할 수 있는가?
• RQ2 수렴 속도는 $\varepsilon$와 조건수의 관점에서 전역 최소값으로 향하는 데 어떻게 되는가?
• RQ3 이 설정에서 차원의 크기는 경사 하강법의 수렴 복잡성에 어떻게 영향을 미치는가?
• RQ4 경사 하강법을 통해 삼차 정규화된 뉴턴 단계를 근사하면 제2차 정적점으로의 수렴 속도를 얻을 수 있는가?

주요 결과

• 큰 $\varepsilon$의 경우, 경사 하강법은 전역 최소값의 $\varepsilon$-정확도를 달성하기 위해 $O(\varepsilon^{-1}\log(1/\varepsilon))$ 수준의 수렴 단계를 달성한다.
• 작은 $\varepsilon$의 경우 수렴 속도가 $O(\log(1/\varepsilon))$ 단계로 향상되어 유리한 영역에서 더 빠른 수렴을 보인다.
• 수렴 속도는 문제의 차원에 대해 최대 로그적 의존성을 보이며, 확장성 보장한다.
• 이 방법은 경사 하강법을 사용해 Nesterov-Polyak의 삼차 정규화된 뉴턴 단계를 근사하는 데 이론적 기반을 제공한다.
• 결과적으로 일반적인 매끄러운 비볼록 함수에 대해 제2차 정적점으로의 수렴 속도를 암시한다.