[논문 리뷰] Catalyst Acceleration for First-order Convex Optimization: from Theory to Practice

Hongzhou Lin, Julien Mairal외 1명|arXiv (Cornell University)|2017. 12. 15.

Stochastic Gradient Optimization Techniques인용 수 90

한 줄 요약

Catalyst는 선형 수렴을 갖는 어떤 방법이든 래핑하는 일반적인 가속 체계로, 잘 선택된 근사적 proximal 하위 문제의 시퀀스를 해결하여, 비강하게 볼록한 경우를 포함한 볼록 최적화의 전체 수렴 속도를 더 빠르게 달성한다.

ABSTRACT

We introduce a generic scheme for accelerating gradient-based optimization methods in the sense of Nesterov. The approach, called Catalyst, builds upon the inexact accelerated proximal point algorithm for minimizing a convex objective function, and consists of approximately solving a sequence of well-chosen auxiliary problems, leading to faster convergence. One of the keys to achieve acceleration in theory and in practice is to solve these sub-problems with appropriate accuracy by using the right stopping criterion and the right warm-start strategy. We give practical guidelines to use Catalyst and present a comprehensive analysis of its global complexity. We show that Catalyst applies to a large class of algorithms, including gradient descent, block coordinate descent, incremental algorithms such as SAG, SAGA, SDCA, SVRG, MISO/Finito, and their proximal variants. For all of these methods, we establish faster rates using the Catalyst acceleration, for strongly convex and non-strongly convex objectives. We conclude with extensive experiments showing that acceleration is useful in practice, especially for ill-conditioned problems.

연구 동기 및 목표

• 볼록 최적화에서 gradient 기반 방법의 가속화를 동기화하고, 특히 큰 유한 합을 다루는 경우에 주목한다.
• 다양한 1차 방법에 적용 가능한 통합된 Catalyst 프레임워크를 제공한다.
• 스무딩, 외삽, 내부-외부 균형이 더 빠른 수렴을 어떻게 이끄는지 보여준다.
• 수동 규칙화 없이 비강하게 볼록한 목적함수에도 가속을 확장한다.
• 실제 활용을 위한 실용적 지침과 복잡도 분석을 제시한다.

제안 방법

• 기초 방법 M을 사용하여 근사적으로 강하게 볼록한 보조 문제를 해결하는 외층-외부 루프 scheme으로 Catalyst를 도입한다.
• infimal convolution(Moreau 엔벨로프)를 사용하여 잘 조건화된 대리 목적 함수 h_k를 만든다.
• 가속을 위한 Nesterov 스타일의 외삽으로 외 반복 y_k를 형성한다.
• 내부 문제에 대한 명시적 종료 기준(절대/상대 정확도 또는 고정 예산)과 워밍스타트 전략을 제공한다.
• 복잡도 최적화를 위해 스무딩 매개변수 kappa를 선택하여 내부 및 외부 계산의 균형을 맞춘다.
• 강하게 볼록한 문제에서 선형 수렴을 가지는 광범위한 1차 방법을 Catalyst가 가속시킨다는 것을 보인다.

실험 결과

연구 질문

• RQ1 Catalyst가 gradient descent와 SDCA를 넘어, 볼록 목적함수에서 더 빠른 수렴을 달성하기 위해 광범위한 1차 방법을 가속시킬 수 있는가?
• RQ2 전역 가속을 보장하기 위해 내부 루프 정확도, 워밍스타트, 스무딩 매개변수를 어떻게 선택해야 하는가?
• RQ3 강하게 볼록한 목적함수와 비강하게 볼록한 목적함수에 Catalyst를 적용했을 때의 이론적 복잡도 이점은 무엇인가?
• RQ4 근사 하위 문제 해를 사용할 때 Moreau 엔벨로프 스무딩이 실제 가속과 어떤 관련이 있는가?
• RQ5 Catalyst가 비강하게 볼록한 목적함수를 증가하는 방법에 대해 수동 규칙화 없이 증분적(incremental) 방법에 직접 지원을 제공할 수 있는가?

주요 결과

• Catalyst는 강하게 볼록한 하위문제를 가속할 때 많은 방법에 대해 더 빠른 수렴 속도를 제공하여 대규모 합 문제의 복잡도 한계를 개선한다.
• 이 프레임워크는 gradient descent, 블록 좌표 감소법, SAG, SAGA, SDCA, SVRG, MISO/Finito 및 proximal 변형과 같은 증가적 방법에 적용된다.
• 비강하게 볼록한 목적함수에서도 가속이 달성되어 가속을 가능하게 하기 위해 추가 규칙화가 필요하지 않다.
• 내부 문제에 대한 적절한 종료 기준과 효과적인 워밍스타트는 실용적 가속과 복잡도 제어에 중요하다.
• 이론적 결과는 강하게 볼록 및 비강하게 볼록 설정 전반에서 로그 요인에 가까운 near-optimal 속도를 보인다.
• 실험적 결과는 특히 악조건 문제에서 실용적 가속을 보여준다.