[논문 리뷰] The global rate of convergence for optimal tensor methods in smooth convex optimization

Alexander Gasnikov, Pavel Dvurechensky외 4명|arXiv (Cornell University)|2018. 09. 02.

Tensor decomposition and applications참고 문헌 11인용 수 17

한 줄 요약

이 논문은 립시츠 연속인 p차 미분을 가진 미분 가능 볼록 최적화 문제에 대해 최적의 텐서 방법을 제안하며, 전역 수렴 속도를 $ O(\varepsilon^{-\frac{2}{3p+1}}) $로 달성하여 이전에 알려진 하한 및 상한 복잡도 경계 사이의 격차를 메운다. 이 방법은 균일 볼록성 하에서 추가로 가속화되며, 수치적으로 검증되어 기존 방법들보다 뛰어난 성능을 보이며, 특히 $ p=3 $일 때 두각한다.

ABSTRACT

We consider convex optimization problems with the objective function having Lipshitz-continuous $p$-th order derivative, where $p\\geq 1$. We propose a new tensor method, which closes the gap between the lower $O\\left(\\varepsilon^{-\\frac{2}{3p+1}} \ ight)$ and upper $O\\left(\\varepsilon^{-\\frac{1}{p+1}} \ ight)$ iteration complexity bounds for this class of optimization problems. We also consider uniformly convex functions, and show how the proposed method can be accelerated under this additional assumption. Moreover, we introduce a $p$-th order condition number which naturally arises in the complexity analysis of tensor methods under this assumption. Finally, we make a numerical study of the proposed optimal method and show that in practice it is faster than the best known accelerated tensor method. We also compare the performance of tensor methods for $p=2$ and $p=3$ and show that the 3rd-order method is superior to the 2nd-order method in practice.

연구 동기 및 목표

• 미분 가능 볼凸 최적화 문제에서 $ p $-번째 도함수의 리프시츠 연속성 조건 하에 알려진 하한 $ O(\varepsilon^{-\frac{2}{3p+1}}) $ 와 상한 $ O(\varepsilon^{-\frac{1}{p+1}}) $ 사이의 반복 복잡도 경계 간 격차를 메우는 것.
• 제안된 방법을 균일 볼凸 함수로 확장하고, 이 가정 하에서 복잡도 분석에 자연스럽게 나타나는 $ p $-번째 도함수 조건 수를 도출하는 것.
• 제안된 최적의 방법을 수치적으로 검증하고 기존의 가속화된 텐서 방법들과의 성능을 비교하는 것.
• 특히 $ p=3 $일 때의 고차수 방법이 2차수 방법($ p=2 $)보다 실용적으로 우수한가를 조사하는 것.

제안 방법

• 논문은 목적 함수의 $ p $-차 수준까지의 고차수 테일러 전개를 활용하는 새로운 텐서 방법을 제안하며, 전역 수렴을 보장하기 위해 프록시멀 유사한 구조를 통합한다.
• 최적의 수렴 속도를 달성하기 위해 $ p $-번째 도함수 정보를 기반으로 한 신중하게 설계된 선 탐색 및 적응형 스텝 크기 전략을 사용한다.
• 핵심 요소로는 $ p $-번째 도함수의 부드러움 상수와 균일 볼凸성 파라미터의 비율로 정의된 $ p $-번째 도함수 조건 수가 있으며, 이는 균일 볼凸성 하에서 수렴 속도를 결정한다.
• 최적성은 $ p $-번째 도함수의 부드러움을 갖는 문제 클래스에 대해 최악의 복잡도를 고려하는 최소최대 최적화 프레임워크를 통해 도출된다.
• 목적 함수의 곡률에 적응하는 자기-동조 유사 장벽 항을 통합하여, 균일 볼凸 함수로의 방법 확장을 달성한다.
• 합성 및 표준 테스트 문제를 사용한 수치 실험을 통해 제안된 방법이 기존의 가속화된 텐서 방법들과 비교되어, 특히 $ p=2 $ 및 $ p=3 $일 때 성능을 평가한다.

실험 결과

연구 질문

• RQ1 미분 가능 볼凸 최적화 문제에서 $ p $-번째 도함수를 갖는 텐서 방법의 알려진 하한 및 상한 복잡도 경계 간 격차를 메울 수 있는가?
• RQ2 제안된 방법의 수렴 속도는 도함수의 차수 $ p $에 따라 어떻게 변화하며, 달성 가능한 최적의 속도는 무엇인가?
• RQ3 균일 볼凸성 조건 하에서 이 방법이 효과적으로 가속화될 수 있으며, 이 경우 $ p $-번째 도함수 조건 수는 어떤 역할을 하는가?
• RQ4 제안된 최적의 텐서 방법은 실질적으로 기존의 가속화된 텐서 방법보다 더 빠른가, 특히 $ p=3 $일 때 $ p=2 $에 비해 더 빠른가?

주요 결과

• 제안된 텐서 방법은 $ O(\varepsilon^{-\frac{2}{3p+1}}) $의 전역 수렴 속도를 달성하며, 이는 기존 알려진 하한과 일치하여 이전 상한 $ O(\varepsilon^{-\frac{1}{p+1}}) $와의 격차를 완전히 메운다.
• 균일 볼凸성 하에서 방법의 수렴 속도는 추가로 향상되며, 이 경우 복잡도를 결정하는 $ p $-번째 도함수 조건 수가 도입된다.
• 수치 실험 결과, 제안된 방법은 실질적으로 기존에 알려진 최고의 가속화된 텐서 방법을 초월하며, 특히 $ p=3 $일 때 두각한다.
• 3차 텐서 방법($ p=3 $)은 벤치마크 문제에서 2차 방법($ p=2 $)보다 경험적으로 뛰어난 수렴 속도를 보이며, 더 빠른 수렴을 확인할 수 있다.
• 이론적 복잡도 경계는 주어진 $ p $-번째 도함수 부드러움 조건을 갖는 문제 클래스에 대해 최악의 경우에서 최적임이 입증된다.