[논문 리뷰] "Convex Until Proven Guilty": Dimension-Free Acceleration of Gradient Descent on Non-Convex Functions

Yair Carmon, Oliver Hinder외 2명|arXiv (Cornell University)|2017. 05. 08.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 34

한 줄 요약

이 논문은 비볼록 최적화를 위한 차원에 의존하지 않는 가속화된 경사하강법을 제안하며, 표준 네스터로프 가속화가 멈출 경우 음의 곡률을 탐지함으로써 결정론적이고 더 빠른 수렴을 가능하게 한다. 이는 $ O(\tilde{\rho}^{-7/4} \log(1/\epsilon)) $의 경사 및 함수 평가 횟수를 요구하여 $ \epsilon $-정류점(\epsilon-stationary point)을 찾는 데 성과를 내며, 표준 경사하강법의 $ O(\epsilon^{-2}) $ 수렴 속도를 향상시킨다.

ABSTRACT

We develop and analyze a variant of Nesterov's accelerated gradient descent (AGD) for minimization of smooth non-convex functions. We prove that one of two cases occurs: either our AGD variant converges quickly, as if the function was convex, or we produce a certificate that the function is "guilty" of being non-convex. This non-convexity certificate allows us to exploit negative curvature and obtain deterministic, dimension-free acceleration of convergence for non-convex functions. For a function $f$ with Lipschitz continuous gradient and Hessian, we compute a point $x$ with $\| abla f(x)\| \le ε$ in $O(ε^{-7/4} \log(1/ ε) )$ gradient and function evaluations. Assuming additionally that the third derivative is Lipschitz, we require only $O(ε^{-5/3} \log(1/ ε) )$ evaluations.

연구 동기 및 목표

• 기계학습 분야에서 실용적으로 성공을 거두었음에도 불구하고 비볼록 최적화에서의 증명 가능한 가속화의 부족을 해결한다.
• \epsilon-정류점(\epsilon-stationary point)을 찾는 데 있어 표준 경사하강법의 worst-case 복잡도인 $ O(\epsilon^{-2}) $ 를 극복한다.
• 존재할 경우 음의 곡률을 활용하여 더 빠른 수렴을 가능하게 하되, 볼록성에 의존하지 않는 방법을 개발한다.
• 네스터로프의 가속화된 경사하강법 중에서 비볼록성을 증명하는 증거를 통해 비볼록성을 탐지함으로써, 차원에 의존하지 않는 가속화를 달성한다.
• 높은 차수의 미분 가능성 조건(예: 3차 도함수의 리프시츠 연속성) 하에서 수렴 속도를 향상시킨다.

제안 방법

• 네스터로프의 가속화된 경사하강법(AGD)을 모니터링하여 함수가 강한 볼록성이 아님을 확인하기 위해, $ f(u) < f(v) + \nabla f(v)^T(u-v) + \frac{\sigma}{2}\|u-v\|^2 $ 를 만족하는 증거 쌍 $ u, v $ 를 점검한다.
• 해당 증거를 발견하면, 음의 곡률를 이용해 수렴을 가속화하며, 비볼록 함수에서도 진전을 보장한다.
• 원래 함수에 프록시멀 정규화를 적용한 AGD를 적용하여, 볼록 유사 및 비볼록 영역 모두에서 반복적 진전을 가능하게 한다.
• 탐지된 음의 곡률를 활용해 더 큰, 함수 감소를 유도하는 스텝을 취함으로써, 표준 경사하강법을 초월한 수렴을 향상시킨다.
• 3차 도함수의 리프시츠 연속성 가정 하에 방법을 강화하여 더 큰 스텝 크기와 복잡도 향상을 가능하게 한다.
• 일阶 오рак루 모델 하에서 경사 및 함수 평가 횟수로 복잡도를 측정하며, 결정론적 수렴에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 비볼록 함수에 대해 네스터로프의 가속화된 경사하강법을 비볼록성을 탐지함으로써 증명 가능한 가속화가 가능한가?
• RQ2 표준 미분 가능성 조건 하에서 매끄러운 비볼록 최적화에서 \epsilon-정류점(\epsilon-stationary point)을 찾는 데 최적의 수렴 속도는 무엇인가?
• RQ3 음의 곡률가 가속화된 경사하강법의 수렴에 미치는 영향은 무엇이며, 이를 결정론적으로 활용할 수 있는가?
• RQ4 확률적 또는 무작위화에 의존하지 않고 $ O(\epsilon^{-2}) $ 수렴 속도를 초월할 수 있는가?
• RQ5 3차 도함수의 리프시츠 연속성 가정이 결정론적 일阶 방법의 수렴 속도에 상당한 향상을 가져올 수 있는가?

주요 결과

• 제안된 방법은 3차 도함수가 리프시츠 연속인 매끄러운 비볼록 함수에 대해 $ O(\epsilon^{-7/4} \log(1/\epsilon)) $의 일阶 오라클 복잡도를 달성하며, $ \epsilon $-정류점(\epsilon-stationary point)을 찾는다.
• 추가로 3차 도함수의 리프시츠 연속성 가정 하에서 복잡도는 $ O(\epsilon^{-5/3} \log(1/\epsilon)) $로 향상되며, 이는 기존 방법에 비해 상당한 향상이다.
• 메서드는 AGD 반복 과정 중에 비볼록성을 증명하는 증거를 통해 비볼록성을 탐지하며, 가속화가 멈출 경우 음의 곡률를 활용하는 전환을 가능하게 한다.
• 실험 결과, 표준 경사하강법과 음의 곡률를 활용하지 않는 변형(C-Alg. 3)보다 성능이 뛰어나며, 특히 음의 곡률가 존재할 경우 두드러진 성능 향상을 보였다.
• MNIST에서의 신경망 훈련 과정에서는 음의 곡률를 한 번도 탐지하지 못했으며, 이는 이 영역에서 손실 곡면이 실질적으로 볼록하였음을 시사하며, 경험적 관찰과 일치한다.
• 비선형 공액 경사법보다 실험적으로 뛰어나지 않음에도 불구하고, 이 방법은 유일한 차원에 의존하지 않고 결정론적인 증명 가능한 가속화 메커니즘을 보여준다.