[논문 리뷰] Adaptive Gradient Descent without Descent

Yura Malitsky, Konstantin Mishchenko|arXiv (Cornell University)|2019. 10. 21.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 17

한 줄 요약

이 논문은 단지 기울기 정보만을 요구하고 지역 곡률에 따라 자동으로 스텝 크기를 조정하는 새로운 적응형 경사하강법을 소개한다. 이는 선형 탐색이나 전역 미세도의 지식이 필요로 하지 않으며, 볼록 및 비볼록 문제에 대해 지역 미세도에만 의존하는 수렴 속도로 수렴한다. 전역 미세도 상수가 무한대일 때조차도 수렴 가능하다.

ABSTRACT

We present a strikingly simple proof that two rules are sufficient to automate gradient descent: 1) don't increase the stepsize too fast and 2) don't overstep the local curvature. No need for functional values, no line search, no information about the function except for the gradients. By following these rules, you get a method adaptive to the local geometry, with convergence guarantees depending only on the smoothness in a neighborhood of a solution. Given that the problem is convex, our method converges even if the global smoothness constant is infinity. As an illustration, it can minimize arbitrary continuously twice-differentiable convex function. We examine its performance on a range of convex and nonconvex problems, including logistic regression and matrix factorization.

연구 동기 및 목표

• 경사하강법에서 스텝 크기 선택 문제를 해결하기 위해, 수동 조정이나 비용이 많이 드는 선형 탐색이 필요로 하지 않는 방법을 개발하는 것.
• 기능 값이나 전역 미세도 상수에 의존하지 않고 지역 기하학에 적응하는 방법을 개발하는 것.
• 전역 미세도 상수가 무한대일 때조차도 최소한의 가정 하에 수렴 보장을 제공하는 것.
• 볼록 및 비볼록 문제에 대해 기울기 정보만을 사용하여 강력하고 자동화된 최적화를 가능하게 하는 것.

제안 방법

• 이 방법은 두 가지 적응 규칙을 사용한다: (1) 스텝 크기의 증가를 제한하여 불안정성을 방지하고, (2) 지역 곡률을 초과하지 않도록 스텝을 보장한다.
• 선형 탐색이나 함수 평가 없이도 현재 및 이전 기울기 정보만을 사용하여 스텝 크기를 동적으로 계산한다.
• 스텝 크기는 $ \lambda_k \leq \min\left\{ \sqrt{1+\theta_k}\lambda_{k-1}, \frac{\alpha \|x^k - x^{k-1}\|}{\|\nabla f_{\xi^k}(x^k) - \nabla f_{\xi^k}(x^{k-1})\|} \right\} $ 로 제한되며, 여기서 $ \theta_k $ 는 증가를 제어한다.
• 스토케스틱 설정에서는 동일한 샘플을 사용해 기울기와 스텝 크기를 모두 계산하므로, 편향은 있지만 효율적인 갱신이 가능하다.
• 강한 볼록성과 지역 미세도 조건 하에서, 전역 미세도 상수가 무한대일 때조차도 선형 수렴이 보장된다.
• 함수 최솟값 $ f_* $, 전역 미세도 상수 $ L $, 강한 볼록성 상수 $ \mu $ 를 알 필요 없이 기울기 정보와 지역 곡률 추정치만으로도 수렴 보장을 받을 수 있다.

실험 결과

연구 질문

• RQ1 기울기 평가와 함수 평가 없이 기울기 정보만을 사용해 경사하강법을 완전히 적응형으로 만들 수 있는가?
• RQ2 전역 미세도 상수가 무한대일 때조차도 지역 미세도 조건 하에서 수렴을 보장할 수 있는가?
• RQ3 기울기 차이와 스텝 크기 증가 제어에 기반한 스텝 크기 규칙이 볼록 및 비볼록 설정 모두에서 수렴을 보장하는가?
• RQ4 이러한 방법이 실무에서 기존의 SGD, Adam, 또는 적응형 스텝 크기 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 수렴 성질을 훼손시키지 않고 동일한 스토케스틱 샘플을 기울기 계산과 스텝 크기 계산에 모두 사용할 수 있는가?

주요 결과

• 전역 미세도 상수가 무한대일 때조차도 지역 미세도 조건 하에서 볼록 함수에 대해 수렴이 보장된다.
• 강한 볼록성과 미세도 조건이 성립할 경우, 수렴 속도는 $ \mathbb{E}[\|x^k - x^*\|^2] \leq \exp(-k\alpha\mu/L) C_0 $ 로 표현되며, 여기서 $ C_0 $ 는 초기 오차와 스텝 크기에 의존한다.
• 오버파라미터라이즈된 모델을 사용하는 스토케스틱 설정에서는 동일한 샘플을 기울기와 스텝 크기 계산에 사용하여 선형 수렴을 달성한다.
• 이 방법은 이미지 분류 작업에서 ResNet-18 및 DenseNet-121에 대해 튜닝된 하이퍼파rameter를 가진 Adam과 SGD와 비교해 성능을 동일하거나 초월한다.
• 수렴 속도는 $ \mathcal{O}(L^2/\gamma\mu^2 \log(1/\varepsilon)) $ 로 표현되며, $ \mathbb{E}[\|x^k - x^*\|^2] = \mathcal{O}(\varepsilon + \gamma\sigma^2) $ 를 달성할 수 있다. 여기서 $ \gamma \leq 1 $ 이다.
• 이 방법은 초기 스텝 크기가 나쁘더라도 강인하며, Polyak의 스텝 크기와 달리 $ f_* $ 를 튜닝할 필요가 없다.