[논문 리뷰] On a Combination of Alternating Minimization and Nesterov's Momentum

Sergey Guminov, Pavel Dvurechenskii외 2명|arXiv (Cornell University)|2019. 06. 09.

Matrix Theory and Algorithms인용 수 4

한 줄 요약

이 논문은 볼록 문제에 대해 $1/k^2$ 수렴 속도, 비볼록 문제에 대해 $1/k$ 수렴 속도를 달성하는 가속화된 교대 최소화 알고리즘을 제안한다. 이는 볼록성 또는 미분 가능성 매개변수를 사전에 알 필요 없이, 적응형이며 매개변수 없는 방법으로, 볼록 및 비볼록 환경에서 균일하게 최적의 성능을 보이며, 최적 운반 이론과 협업 필터링에 적용 가능하다.

ABSTRACT

Alternating minimization (AM) procedures are practically efficient in many applications for solving convex and non-convex optimization problems. On the other hand, Nesterov's accelerated gradient is theoretically optimal first-order method for convex optimization. In this paper we combine AM and Nesterov's acceleration to propose an accelerated alternating minimization algorithm. We prove $1/k^2$ convergence rate in terms of the objective for convex problems and $1/k$ in terms of the squared gradient norm for non-convex problems, where $k$ is the iteration counter. Our method does not require any knowledge of neither convexity of the problem nor function parameters such as Lipschitz constant of the gradient, i.e. it is adaptive to convexity and smoothness and is uniformly optimal for smooth convex and non-convex problems. Further, we develop its primal-dual modification for strongly convex problems with linear constraints and prove the same $1/k^2$ for the primal objective residual and constraints feasibility.

연구 동기 및 목표

• 교대 최소화의 실용적 효율성과 네스테로프의 모멘타움의 이론적 최적성의 조합을 통해 일阶 최적화 방법을 개발한다.
• 리프시츠 상수와 같은 문제 매개변수를 알지 못해도 볼록 및 비볼록 문제에서 균일하게 최적의 수렴 속도를 달성한다.
• 선형 제약 조건이 있는 강한 볼록 문제에 대해 원본-이중형 변형을 설계하여 목적 함수 잔여항과 제약 조건 이행성 모두에 대해 $1/k^2$ 수렴을 보장한다.
• 최적 운반 이론과 협업 필터링과 같은 실세계 문제에 적용하여 실용적 가속 성능을 입증한다.
• 모멘타움 안정성과 반복 간의 안정성을 활용하여 수렴 속도를 향상시키는 선형 탐색 전략을 개발한다.

제안 방법

• 모멘타움 항을 제어하는 수열 $ a_k $ 를 사용하는 네스테로프 유형 모멘타움이 통합된 새로운 교대 최소화 알고리즘을 도입한다.
• 두 조건을 충족시키는 선형 탐색 서브루틴을 활용한다: $ \langle \nabla f(y^k), v^k - y^k \rangle \geq 0 $ 과 $ f(y^k) \leq f(x^k) $, 이는 정지 기준으로 기능한다.
• 선형 탐색에서 $ \beta_{t-2} $ 를 $ \beta_t $ 의 초기 추정치로 사용하며, 같은 기수성을 가진 반복에서 $ \beta $ 값이 자주 안정됨을 관찰한 바를 활용한다.
• 리아파노프 함수와 재귀 부등식을 통해 수렴 속도를 유도하며, 볼록 문제에 대해 $ 1/k^2 $, 비볼록 문제에 대해 기울기 노름 기반으로 $ 1/k $ 수렴을 확립한다.
• 선형 제약 조건이 있는 강한 볼록 문제에 대해 원본-이중형 수정을 개발하여 목적 함수 잔여항과 이행성 모두에 대해 $ 1/k^2 $ 수렴을 증명한다.
• 가속화된 싱크호른 및 반복 브레그만 프로젝션(IBC) 알고리즘에 이 방법을 적용하여 최적 운반 이론 및 워샤르슈타인 바리센터 문제에 대해 개선된 복잡도 한계를 확보한다.

실험 결과

연구 질문

• RQ1 교대 최소화를 네스테로프의 모멘타움으로 가속화하여 문제 매개변수(예: 리프시츠 상수)를 알지 못해도 최적의 수렴 속도를 달성할 수 있는가?
• RQ2 제안된 방법이 매개변수 없는 방식으로 볼록 문제에 대해 $ 1/k^2 $ 수렴, 비볼록 문제에 대해 $ 1/k $ 수렴을 유지하는가?
• RQ3 선형 제약 조건이 있는 강한 볼록 문제에 대해 원본-이중형으로 확장 가능하며, 최적의 수렴 속도를 유지하는가?
• RQ4 모멘타움 안정성에 기반한 선형 탐색 전략이 실용적 성능을 어떻게 향상시키는가?
• RQ5 제안된 프레임워크에서 유도된 가속화된 IBP 및 싱크호른 알고리즘의 복잡도는 얼마인가?

주요 결과

• 제안된 알고리즘은 볼록 문제에서 목적 함수에 대해 $ 1/k^2 $ 수렴 속도를 달성하며, 네스테로프 방법의 이론적 최적 성능과 일치한다.
• 비볼록 문제에서는 제곱 기울기 노름 기반으로 $ 1/k $ 수렴을 보장하며, 이는 일阶 방법에 대해 최적이다.
• 알고리즘은 볼록성과 미분 가능성에 적응적이며, 리프시츠 상수나 기타 문제 매개변수를 알 필요가 없다.
• 원본-이중형 변형은 선형 제약 조건이 있는 강한 볼록 문제에서 원본 목적 함수 잔여항과 제약 조건 이행성 모두에 대해 $ 1/k^2 $ 수렴을 달성한다.
• 워샤르슈타인 바리센터 문제에 대한 가속화된 IBP 알고리즘의 총 복잡도는 $ O\left(\frac{mN^{5/2}\sqrt{\ln N}\|C\|_{\infty}}{\varepsilon}\right) $ 이며, 기존 IBP보다 향상된 복잡도를 확보한다.
• 가속화된 싱크호른 알고리즘은 표준 싱크호른과 동일한 복잡도를 유지하지만, 모멘타움 덕분에 더 빠른 수렴 속도를 보이며, 실험적 성능 향상으로 검증되었다.