[논문 리뷰] Near-Optimal Hyperfast Second-Order Method for convex optimization and its Sliding

Dmitry Kamzolov, Alexander Gasnikov|arXiv (Cornell University)|2020. 02. 20.

Stochastic Gradient Optimization Techniques참고 문헌 46인용 수 10

한 줄 요약

이 논문은 립시츠 연속인 세阶 도함수를 가진 볼록 최적화 문제에 대해 near-optimal인 초고속 2차 방법을 제안하며, 로그 인자들을 제외한 $O(N^{-5})$ 수렴 속도를 달성한다. 제3차 도함수 정보를 직접 계산하지 않고, 2차 오ракูล 정보만을 사용하여 하위 문제를 해결하는 비정확한 near-optimal 제3차 텐서 방법과 브레그만 거리 기반 경사 하강법을 조합함으로써, 이 클래스 문제에 대해 지금까지 알려진 바 중 가장 우수한 수렴 속도를 달성한다. 또한 합성 함수 문제에 대한 새로운 슬라이딩 프레임워크를 제안한다.

ABSTRACT

In this paper, we present a new Hyperfast Second-Order Method with convergence rate $O(N^{-5})$ up to a logarithmic factor for the convex function with Lipshitz the third derivative. This method based on two ideas. The first comes from the superfast second-order scheme of Yu. Nesterov (CORE Discussion Paper 2020/07, 2020). It allows implementing the third-order scheme by solving subproblem using only the second-order oracle. This method converges with rate $O(N^{-4})$. The second idea comes from the work of Kamzolov et al. (arXiv:2002.01004). It is the inexact near-optimal third-order method. In this work, we improve its convergence and merge it with the scheme of solving subproblem using only the second-order oracle. As a result, we get convergence rate $O(N^{-5})$ up to a logarithmic factor. This convergence rate is near-optimal and the best known up to this moment. Further, we investigate the situation when there is a sum of two functions and improve the sliding framework from Kamzolov et al. (arXiv:2002.01004) for the second-order methods.

연구 동기 및 목표

• 립시츠 연속인 제3차 도함수를 가진 함수에 대해, 지금까지 알려진 바 중 가장 빠른 수렴 속도를 달성하는 초고속 2차 최적화 방법을 개발하는 것.
• 고차 하위 문제를 해결할 때 제3차 도함수의 직접 계산을 피하면서도, 오직 2차 오라클 정보만을 사용할 수 있도록 하는 것.
• 두 볼록 함수의 합으로 이루어진 복합 문제에 대해, 각 함수의 오라클 복잡도를 분리하는 슬라이딩 프레임워크를 도입하여 방법을 확장하는 것.
• 고차 미분 가능성 조건 하에 단일 및 복합 볼록 최적화 문제에 대해 near-optimal 수렴 속도와 오라클 복잡도를 확립하는 것.

제안 방법

• 제어된 오차를 가진 타일러 근사 하위 문제를 해결하기 위해 비정확한 near-optimal 가속 텐서 방법을 사용하여, 정확한 제3차 정보가 필요 없이도 수렴을 보장한다.
• 브레그만 거리 기반 경사 하강법을 활용하여, 동일한 미분 가능성 조건 하에 오직 2차 오라클 접근만으로 하위 문제를 해결함으로써 실용적인 구현을 가능하게 한다.
• 네스테로프의 초고속 2차 계획법과 비정확한 경사 기법을 조합하여, 로그 인자들을 제외한 $O(N^{-5})$ 수렴 속도를 달성한다.
• 복합 문제의 경우, 합의 각 함수에 대한 오라클 복잡도를 분리하는 슬라이딩 프레임워크를 도입하여, 각 함수의 도함수를 별도로 계산할 수 있도록 한다.
• 선형 탐색과 Monteiro–Svaiter 봉우리 기법을 사용하여 고차 미분 가능성 조건 하에서 near-최적성과 수렴을 유지한다.
• 이론적 분석을 통해 브레그만 발산과 비정확한 하위 문제 해결 전략을 활용하여 수렴 속도와 오라클 복잡도 한계를 확립한다.

실험 결과

연구 질문

• RQ1 오직 2차 오라클 정보만을 사용하여, 립시츠 연속인 제3차 도함수를 가진 볼록 함수에 대해 $O(N^{-5})$ 수렴 속도를 달성할 수 있는가?
• RQ2 고차 하위 문제의 비정확한 해를 효과적으로 활용하여 제3차 도함수의 직접 계산을 피하면서도 빠른 수렴을 유지할 수 있는가?
• RQ3 슬라이딩 프레임워크를 2차 텐서 방법에 적용하여 복합 볼록 함수의 오라클 복잡도를 분리할 수 있는가?
• RQ4 고차 최적화에서 하위 문제 정확도와 전체 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 고차 미분 가능성 조건 하에서, 2차 방법을 사용하여 합성 함수 문제에 대해 near-optimal 수렴 속도와 오라클 복잡도를 달성할 수 있는가?

주요 결과

• 제안된 초고속 2차 방법은 립시츠 연속인 제3차 도함수를 가진 볼록 함수에 대해 $O(N^{-5})$ 수렴 속도를 달성하며, 지금까지 알려진 바 중 가장 빠른 속도이다.
• 이 방법은 타일러 근사 하위 문제를 브레그만 거리 기반 경사 하강법으로 해결함으로써 제3차 도함수의 직접 계산 없이도 오직 2차 오라클 정보만을 사용한다.
• 수렴 속도는 near-optimal이며, 로그 인자들을 제외한 이론적 하한선과 일치한다.
• 두 볼록 함수의 합으로 이루어진 복합 문제에 대해, 초고속 2차 슬라이딩 방법은 오라클 복잡도를 분리하여 각 함수의 도함수를 별도로 계산할 수 있도록 한다.
• 슬라이딩 프레임워크는 합성 함수 케이스에서 $O(N^{-5})$ 수렴 속도를 유지하면서도 near-optimal 오라클 복잡도를 달성한다.
• 이론적 결과는 이 방법을 1차 및 0차 방법으로 확장할 수 있는 잠재력이 있으며, 그 복잡도 한계는 $\tilde{O}(n\varepsilon^{-1/5})$ 개의 그래디언트 평가와 $\tilde{O}(\varepsilon^{-1/5})$ 개의 헤시안 역행렬 계산으로 추정된다.