[논문 리뷰] On Accelerated Methods in Optimization

Andre Wibisono, Ashia Wilson|arXiv (Cornell University)|2015. 09. 11.

Stochastic Gradient Optimization Techniques참고 문헌 6인용 수 14

한 줄 요약

이 논문은 고차 미분 방법을 재스케일링된 기울기 흐름과 연결하고, 가속화된 방법을 두 번째 단계의 네스테로프 유형 미분 방정식과 연결함으로써 가속 최적화 방법에 대한 연속시간 프레임워크를 수립한다. 이는 이산 시간에서 가속 알고리즘의 수렴 속도가 $O(1/k^p)$임을 증명하며, 이는 연속 시간에서의 동료들에 대한 $O(1/t^p)$ 수렴 속도와 일치한다. 또한 기반 라그랑주 가중치의 시간 확대 불변성에 의해 일반성의 가능성을 보여준다.

ABSTRACT

In convex optimization, there is an {\em acceleration} phenomenon in which we can boost the convergence rate of certain gradient-based algorithms. We can observe this phenomenon in Nesterov's accelerated gradient descent, accelerated mirror descent, and accelerated cubic-regularized Newton's method, among others. In this paper, we show that the family of higher-order gradient methods in discrete time (generalizing gradient descent) corresponds to a family of first-order rescaled gradient flows in continuous time. On the other hand, the family of {\em accelerated} higher-order gradient methods (generalizing accelerated mirror descent) corresponds to a family of second-order differential equations in continuous time, each of which is the Euler-Lagrange equation of a family of Lagrangian functionals. We also study the exponential variant of the Nesterov Lagrangian, which corresponds to a generalization of Nesterov's restart scheme and achieves a linear rate of convergence in discrete time. Finally, we show that the family of Lagrangians is closed under time dilation (an orbit under the action of speeding up time), which demonstrates the universality of this Lagrangian view of acceleration in optimization.

연구 동기 및 목표

• 연속 시간 동역학계를 통해 고차 및 가속 최적화 방법을 통합하는 것.
• 연속 시간 흐름을 통한 볼록 최적화에서의 가속 현상 설명.
• 이산 시간 가속 알고리즘과 두 번째 단계 오일러-라그랑주 방정식 사이의 대응 관계 수립.
• 네스테로프 라그랑주 함수의 지수적 변형을 사용하여 네스테로프 재시작 기법을 일반화하는 것.
• 가속 방법에 기반한 라그랑주 함수의 가족이 시간 확대에 대해 닫혀 있음을 보여주어 연속 시간 관점의 일반성 입증.

제안 방법

• 이산 고차 기울기 방법에 대응하는 연속 시간 제1차 재스케일링 기울기 흐름의 가족을 유도한다.
• 가속 고차 방법에 대응하는 두 번째 단계 미분 방정식(네스테로프 흐름)의 가족을 도입한다.
• 오일러-라그랑주 형식을 사용하여 네스테로프 흐름을 라그랑주 함수의 변분 원리로 유도한다.
• 이산 시간 단계와 연속 동역학을 일치시키기 위해 시간 스케일링 $t = \epsilon^{1/p} k^p$를 적용한다.
• 네스테로프 라그랑주 함수의 지수적 변형을 도입하여 재시작 기법을 일반화한다.
• 라그랑주 함수의 가족이 시간 확대에 대해 불변임을 보여주어 구조적 일반성 입증.

실험 결과

연구 질문

• RQ1 고차 기울기 방법은 어떻게 연속 시간 재스케일링 기울기 흐름의 이산화로 해석될 수 있는가?
• RQ2 네스테로프의 방법과 같은 가속 고차 방법에 대응하는 연속 시간 두 번째 단계 미분 방정식은 무엇인가?
• RQ3 네스테로프 재시작 기법은 연속 시간 변분 원리를 사용하여 일반화될 수 있는가?
• RQ4 이산 시간에서의 가속 방법의 수렴 속도는 그 연속 시간 동료와 어떻게 관련이 있는가?
• RQ5 가속 방법에 기반한 라그랑주 함수의 가족은 시간 스케일링(확대)에 대해 닫혀 있는가?
• RQ6 라그랑주 프레임워크의 일반성은 시간 확대에 대한 불변성으로 입증될 수 있는가?

주요 결과

• $(p-1)$-차 미분 $\nabla^{(p-1)}f$ 가 $\frac{(p-1)!}{\epsilon}$-스무쓰하고 $f$ 가 볼록일 때, $p$-차 가속 기울기 방법은 수렴 속도 $O(1/\epsilon k^p)$를 달성한다.
• 동일한 볼록성 및 스무쓰함 조건 하에서, 연속 시간 네스테로프 흐름은 동일한 수렴 속도 $O(1/t^p)$를 나타낸다.
• 네스테로프 흐름은 $p$-에 의존하는 라그랑주 함수의 오일러-라그랑주 방정식으로 도출되며, 네스테로프의 원래 기법을 일반화한다.
• 네스테로프 라그랑주 함수의 지수적 변형은 재시작 기법의 일반화를 가능하게 하며, 이로써 이산 시간에서 선형 수렴을 달성한다.
• 라그랑주 함수의 가족은 시간 확대에 대해 닫혀 있으며, 이는 시간을 스케일링하면 동일한 가족 내의 다른 라그랑주 함수로 변환됨을 의미한다. 이는 구조적 일반성의 입증이다.
• 에너지 함수 $E_t = (f(X_t) - f^*)^{-1/(p-1)}$ 는 감소 속도의 하한을 도출하는 데 사용되며, 이로 인해 $O(1/t^p)$ 수렴 경계가 유도된다.