[논문 리뷰] Acceleration Methods

Alexandre d’Aspremont, Damien Scieur외 1명|arXiv (Cornell University)|2021. 01. 23.

Stochastic Gradient Optimization Techniques참고 문헌 154인용 수 4

한 줄 요약

이 독립연구서는 성능 평가 문제와 선형 행렬부등식(LMIs)을 사용하여 가속화된 1차 최적화 방법의 이해와 설계를 위한 통합 프레임워크를 제공한다. 주어진 마스터 템플릿을 통해 모멘텀 기반 방법(Nesterov의 방법 포함)과 프록시멀 방법의 수렴 보장을 체계적으로 유도하며, 가속화를 히وري스틱 기법이 아닌 최적 설계 문제로 재해석한다.

ABSTRACT

This monograph covers some recent advances in a range of acceleration techniques frequently used in convex optimization. We first use quadratic optimization problems to introduce two key families of methods, namely momentum and nested optimization schemes. They coincide in the quadratic case to form the Chebyshev method. We discuss momentum methods in detail, starting with the seminal work of Nesterov and structure convergence proofs using a few master templates, such as that for optimized gradient methods, which provide the key benefit of showing how momentum methods optimize convergence guarantees. We further cover proximal acceleration, at the heart of the Catalyst and Accelerated Hybrid Proximal Extragradient frameworks, using similar algorithmic patterns. Common acceleration techniques rely directly on the knowledge of some of the regularity parameters in the problem at hand. We conclude by discussing restart schemes, a set of simple techniques for reaching nearly optimal convergence rates while adapting to unobserved regularity parameters.

연구 동기 및 목표

• 성능 평가와 LMIs를 활용하여 볼록 최적화에서의 가속화 기법을 통합하고 체계화하는 것.
• 모멘텀 기반 가속화를 해소하기 위해 악성 최악의 경우 성능 설계 문제의 최적 해로 보여주는 것.
• 프록시멀 가속화와 리스타트 기법으로 프레임워크를 확장하여 알려지지 않은 정규성 파라미터 하에서의 적응형 수렴을 가능하게 하는 것.
• 볼록 최적화 도구를 활용하여 가속화된 방법을 설계하기 위한 원칙적이고 알고리즘 기반의 청사진을 제공하는 것.
• LMIs를 통한 검증 가능한 수렴 증명을 제공하여 잠재 함수와 수렴 속도를 자동으로 검증할 수 있도록 하는 것.

제안 방법

• 수렴 분석을 볼록 최적화 문제로 포장하기 위해 성능 평가 문제(PEPs)를 사용하여 최적 파라미터의 체계적 유도를 가능하게 한다.
• 수렴을 보장하는 잠재 함수를 검증하기 위해 선형 행렬부등식(LMIs)을 활용하여 문제를 준선형계획법으로 환원한다.
• 최적화된 경사하강법 프레임워크와 같은 마스터 템플릿을 적용하여 모멘텀 및 프록시멀 방법 간의 수렴 증명을 통합한다.
• 가속화가 히وري스틱 기법이 아니라 악성 최악의 수렴 경계를 최소화하는 최적화 문제의 해임을 보여주는 프레임워크를 도입한다.
• 내부 루프는 표준 방법으로 하위 문제를 해결하고 외부 루프는 가속화를 적용하는 중첩 루프(외부 및 내부 반복)를 사용하여 수렴을 가속화한다.
• 이차 문제에서의 외삽에 체비셰프 다항식 계수를 적용하고, 정규화를 통해 비이차 경우로 일반화한다.

실험 결과

연구 질문

• RQ1 1차 최적화 방법에서의 가속화는 어떻게 경험적으로 발견되는 것이 아니라 체계적으로 도출될 수 있는가?
• RQ2 모멘텀은 악성 최악의 수렴 속도를 최적화하는 데 어떤 역할을 하는가? 성능 평가를 통해 어떻게 수학적으로 형식화할 수 있는가?
• RQ3 Nesterov 스타일의 모멘텀 방법과 동일한 프레임워크에 프록시멀 가속화를 통합할 수 있는가?
• RQ4 리스타트 기법은 정규성 파rameter(예: 강한 볼록성 또는 리프시츠 상수)가 알려지지 않은 상황에서도 거의 최적의 수렴 속도를 달성할 수 있는가?
• RQ5 선형 행렬부등식(LMIs)을 사용하여 복잡한 가속화 기법의 수렴 보장을 자동으로 검증할 수 있는가?

주요 결과

• Nesterov의 방법과 같은 1차 최적화 방법의 가속화는 신비로운 것이 아니라 악성 최악의 수렴 경계를 최소화하는 최적 설계 문제의 해임을 입증한다.
• 이차 문제에 대한 체비셰프 방법은 모멘텀과 중첩 최적화 기법을 통합하여 가속 수렴의 기초적인 예를 제공한다.
• Catalyst와 A-HPE와 같은 프레임워크를 통한 프록시멀 가속화는 내부 루프 하위 문제와 외부 루프 가속화를 조합함으로써 최적의 수렴 속도를 달성한다.
• 리스타트 기법은 정규성 파rameter(예: 강한 볼록성 또는 리프시츠 상수)가 알려지지 않은 상황에서도 거의 최적의 수렴 속도를 달성할 수 있다.
• LMIs의 사용은 잠재 함수의 자동 검증을 가능하게 하여, 수렴 증명을 준선형계획법 문제로 전환하고 기호적으로 해결할 수 있도록 한다.
• 성능 평가 프레임워크를 통해 기준 점에서의 함수 값과 기울기 샘플링을 통해 날카운 수렴 보장을 도출할 수 있으며, 이는 증명 가능하게 최적의 알고리즘을 도출한다.