[논문 리뷰] Direct Runge-Kutta Discretization Achieves Acceleration

Jingzhao Zhang, Aryan Mokhtari외 2명|arXiv (Cornell University)|2018. 05. 01.

Stochastic Gradient Optimization Techniques참고 문헌 21인용 수 38

한 줄 요약

이 논문은 Nesterov의 가속 경사 하강법을 모델링하는 두 번째 차수 상미분방정식을 직접 Runge-Kutta 이산화하는 방법을 제안하며, $s$-차수 Runge-Kutta 적분기로 $\mathcal{O}(N^{-2s/(s+1)})$ 수렴 속도를 달성한다. 이는 저차수 적분기와 기울기 정보만으로도 $\mathcal{O}(N^{-2})$를 초월하는 더 빠른 수렴 속도를 달성할 수 있는 새로운 局소 평탄도 조건을 도입함으로써 가능해지며, 일반적인 기계학습 손실 함수에서 검증되었다.

ABSTRACT

We study gradient-based optimization methods obtained by directly discretizing a second-order ordinary differential equation (ODE) related to the continuous limit of Nesterov's accelerated gradient method. When the function is smooth enough, we show that acceleration can be achieved by a stable discretization of this ODE using standard Runge-Kutta integrators. Specifically, we prove that under Lipschitz-gradient, convexity and order-$(s+2)$ differentiability assumptions, the sequence of iterates generated by discretizing the proposed second-order ODE converges to the optimal solution at a rate of $\mathcal{O}({N^{-2\frac{s}{s+1}}})$, where $s$ is the order of the Runge-Kutta numerical integrator. Furthermore, we introduce a new local flatness condition on the objective, under which rates even faster than $\mathcal{O}(N^{-2})$ can be achieved with low-order integrators and only gradient information. Notably, this flatness condition is satisfied by several standard loss functions used in machine learning. We provide numerical experiments that verify the theoretical rates predicted by our results.

연구 동기 및 목표

• 일阶 최적화에서 가속을 연속적 시간 관점에서 원리적으로 설명하기 위해 상미분방정식을 통한 접근을 제공한다.
• 이전 연구들이 역공학적 접근이나 복잡한 적분기를 의존하는 한계를 극복하기 위해 직접 이산화를 가능하게 한다.
• 두 번째 차수 상미분방정식의 안정적인 Runge-Kutta 적분을 통한 수렴 가능한 가속 방법을 정립한다.
• 고차수 적분기를 요구하지 않더라도 초과 $\mathcal{O}(N^{-2})$ 수렴 속도를 달성할 수 있도록 하는 새로운 局소 평탄도 조건을 규명한다.
• 표준 기계학습 목표 함수에서 이론적 수렴 속도를 수치 실험을 통해 검증한다.

제안 방법

• 연속적 해가 Nesterov의 가속 방법의 극한에 해당하는 두 번째 차수 상미분방정식을 제안한다.
• 스텝 크기를 안정성과 수렴을 보장하도록 선택하여 $s$-차수 표준 Runge-Kutta 적분기를 사용해 상미분방정식을 이산화한다.
• 최소점 근처의 곡률 정도를 캡처하는 매개수 $p$로 정량화된 새로운 목적 함수에 대한 局소 평탄도 조건을 도입한다.
• 적분기 차수 $s$, 평탄도 매개수 $p$, 그리고 $f$의 스무스함 간의 상호작용에 기반한 수렴 속도를 유도한다.
• 리아프노프 함수와 에너지 기반 분석을 사용해 오차의 감쇠를 경계하며, 고차수 도함수와 안정성 조건을 활용한다.
• 수치해석에서의 기본 미분과 순서 조건을 이용해 정확한 해와 수치적 해 간의 오차 한계를 설정한다.

실험 결과

연구 질문

• RQ1 두 번째 차수 상미분방정식의 직접 Runge-Kutta 이산화가 볼록 최적화에서 가속 수렴을 이끌 수 있는가?
• RQ2 제안된 상미분방정식에 대해 $s$-차수 Runge-Kutta 적분기를 사용할 경우 도달 가능한 수렴 속도는 무엇인가?
• RQ3 목적 함수에 대한 局소 평탄도 조건이 $\mathcal{O}(N^{-2})$를 초월하는 수렴 속도를 가능하게 하는가?
• RQ4 그러한 가속 수렴 속도는 기울기 정보와 저차수 적분기만으로도 달성 가능한가?
• RQ5 안정성과 수렴 보장 측면에서 기존 방법과 비교해 본다면 제안된 방법은 어떠한가?

주요 결과

• $s$-차수 Runge-Kutta 적분기를 사용할 경우 수렴 속도는 $\mathcal{O}(N^{-2s/(s+1})}$이며, $s$가 증가함에 따라 $\mathcal{O}(N^{-2})$에 수렴한다.
• 제안된 局소 평탄도 조건(매개수 $p$) 하에 $\mathcal{O}(N^{-p})$ 수렴 속도를 달성할 수 있으며, 저차수 적분기를 사용해도 $p > 2$가 가능하다.
• 표준 기계학습 손실 함수, 예를 들어 로지스틱 회귀와 신경망에서의 손실 함수는 이 평탄도 조건을 만족한다.
• 역공학적 접근이나 전용 적분기를 요구하지 않으며, 표준 Runge-Kutta 스킴만으로도 가속을 달성한다.
• 수치 실험을 통해 다양한 스무스하고 평탄한 목표 함수에서 예측된 이론적 수렴 속도가 확인되었다.
• 분석을 통해 적분기의 안정성과 순서 조건이 가속을 보장하는 데 충분하며, 심플렉틱성이나 변분적 구조가 필요하지 않음을 입증하였다.