[논문 리뷰] Accelerating Rescaled Gradient Descent: Fast Optimization of Smooth Functions

Ashia Wilson, Lester Mackey외 1명|arXiv (Cornell University)|2019. 02. 23.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 16

한 줄 요약

이 논문은 부드러운 함수에 대해 수렴 속도를 가속화하는 새로운 1차 최적화 알고리즘인 스케일링된 경사하강법(RGD)을 소개한다. 이는 경사하강법과 정규화된 경사하강법을 일반화하며, 통합된 리아푸노프 프레임워크를 통해 강한 부드러움 조건 하에서 더 빠른 비점근 수렴 속도를 달성한다. 가속화 프레임워크는 각각 $ O(1/(\theta k)^p) $ 및 $ O(1/(\theta k)^{(3p-2)/2}) $ 수렴 속도를 제공하며, 고차원 텐서 방법과 좌표 하강법으로도 확장된다.

ABSTRACT

We present a family of algorithms, called descent algorithms, for optimizing convex and non-convex functions. We also introduce a new first-order algorithm, called rescaled gradient descent (RGD), and show that RGD achieves a faster convergence rate than gradient descent provided the function is strongly smooth -- a natural generalization of the standard smoothness assumption on the objective function. When the objective function is convex, we present two novel frameworks for "accelerating" descent methods, one in the style of Nesterov and the other in the style of Monteiro and Svaiter, using a single Lyapunov. Rescaled gradient descent can be accelerated under the same strong smoothness assumption using both frameworks. We provide several examples of strongly smooth loss functions in machine learning and numerical experiments that verify our theoretical findings. We also present several extensions of our novel Lyapunov framework, including deriving optimal universal tensor methods and extending our framework to the coordinate setting.

연구 동기 및 목표

• 강한 부드러움 조건 하에서 1차 최적화 알고리즘을 분석하고 가속화하기 위한 통합 프레임워크를 개발하는 것.
• 경사하강법과 정규화된 경사하강법의 일반화로서 수렴 속도 향상을 달성하는 스케일링된 경사하강법(RGD)을 도입하는 것.
• 동일한 부드러움 조건 하에서 기존의 네스테로프 스타일 및 몬테이로-스바이티어 스타일 프레임워크를 활용해 RGD를 가속화하는 것.
• 리아푸노프 프레임워크를 확장하여 헬더 연속성 그라디언트를 갖는 함수에 대해 최적의 보편적 고차원 텐서 방법을 유도하는 것.
• 이 프레임워크를 좌표 하강 설정으로 일반화하여 머신러닝 분야에서 더 넓은 적용 가능성을 확보하는 것.

제안 방법

• 이차형 수렴 조건을 포함하는 이중 노름(gradients)을 활용한 순서 p의 δ-하강 알고리즘 가족을 제안한다.
• 수식 $ x_{k+1} = x_k - \eta^{1/(p-1)} \frac{B^{-1}\nabla f(x_k)}{\|\nabla f(x_k)\|_*^{(p-2)/(p-1)}} $ 에 의해 정의되는 스케일링된 경사하강법(RGD)을 도입하며, 이는 p=2일 때 경사하강법, p=∞일 때 정규화된 경사하강법을 일반화한다.
• 단일 리아푸노프 함수를 활용해 네스테로프 스타일 및 몬테이로-스바이티어 스타일 프레임워크에서의 가속화를 통합하고 분석한다.
• 진전 조건에서 충분한 감소를 보장하기 위해 선형 탐색을 적용하여 최적의 수렴 속도를 달성한다.
• 헬더 연속성 그라디언트를 갖는 함수에 대해 프레임워크를 확장하여 보편적 고차원 텐서 방법을 도출한다.
• 동일한 가정 하에서 프레임워크를 좌표 하강 설정으로 변형하여 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 강한 부드러움 조건 하에서 통합된 리아푸노프 프레임워크가 1차 방법의 수렴 속도를 가속화할 수 있으며, 그 속도는 얼마나 빠를 수 있는가?
• RQ2 스케일링된 경사하강법(RGD)은 부드러운 함수에 대해 표준 경사하강법보다 더 빠른 수렴 속도를 달성할 수 있으며, 기존의 프레임워크를 활용해 가속화할 수 있는가?
• RQ3 리아푸노프 프레임워크는 헬더 연속성 그라디언트를 갖는 함수에 대해 최적의 보편적 고차원 텐서 방법을 도출하기 위해 확장될 수 있는가?
• RQ4 가속화 및 수렴 분석은 좌표 하강 설정으로 일반화될 수 있는가?
• RQ5 가속화된 RGD의 수렴 속도는 룬게쿠타 이산화 또는 콪로모르피크 해밀토니안 역학과 같은 기존 방법과 비교해 어떻게 되는가?

주요 결과

• 강한 부드러움 조건 하에서 볼록 함수에 대해 스케일링된 경사하강법(RGD)은 $ O(1/( heta k)^{p-1}) $ 수렴 속도를 달성하며, 표준 경사하강법보다 향상된 성능을 보인다.
• 네스테로프 스타일 프레임워크를 사용할 경우, 가속화된 RGD는 $ O(1/( heta k)^p) $ 수렴 속도를 달성하며, 부드러운 볼록 함수에 대해 알려진 최고 수준의 속도를 달성한다.
• 선형 탐색을 통한 몬테이로-스바이티어 스타일 프레임워크를 사용할 경우, 가속화된 RGD는 $ O(1/( heta k)^{(3p-2)/2}) $ 의 더 빠른 수렴 속도를 달성하며, 주어진 부드러움 조건 하에서 최적임이 입증된다.
• 제안된 리아푸노프 프레임워크를 통해 헬더 연속성 그라디언트를 갖는 함수에 대해 최적의 보편적 고차원 텐서 방법을 도출할 수 있으며, $ O(1/( heta k)^{(3(p-1+\nu)-2)/2}) $ 의 수렴 속도를 달성한다.
• 프레임워크는 좌표 하강 설정으로도 성공적으로 확장되어 수렴 보장을 유지하며, 희소성과 구조적 최적화 문제에의 적용 가능성을 제공한다.
• 수치 실험을 통해 이론적 수렴 속도가 확인되었으며, 머신러닝 분야의 강한 부드러운 손실 함수에 대한 검증도 수행되었다.