[논문 리뷰] Optimal and Adaptive Monteiro-Svaiter Acceleration

Yair Carmon, Danielle Hausler외 3명|arXiv (Cornell University)|2022. 05. 30.

Advanced Optimization Algorithms Research인용 수 5

한 줄 요약

이 논문은 립시츠 조건을 만족하는 고차 도함수를 가진 볼록 최적화 문제에서 최적 수렴 속도를 달성하면서도 각 반복에서 은닉 방정식을 풀 필요가 없는 몬테이로-스바이터 가속 프레임워크의 이분법 없음 변형을 제안한다. 이는 헤시안 리프시츠 상수를 조정할 필요가 없는 적응형 2차 오라클을 도입함으로써 달성되며, 2차 및 1차 구현 모두에서 로그 인자까지 최적의 복잡도를 만족한다.

ABSTRACT

We develop a variant of the Monteiro-Svaiter (MS) acceleration framework that removes the need to solve an expensive implicit equation at every iteration. Consequently, for any $p\ge 2$ we improve the complexity of convex optimization with Lipschitz $p$th derivative by a logarithmic factor, matching a lower bound. We also introduce an MS subproblem solver that requires no knowledge of problem parameters, and implement it as either a second- or first-order method by solving linear systems or applying MinRes, respectively. On logistic regression our method outperforms previous second-order momentum methods, but under-performs Newton's method; simply iterating our first-order adaptive subproblem solver performs comparably to L-BFGS.

연구 동기 및 목표

• 이분법이 수반되는 몬테이로-스바이터 가속의 열린 문제를 해결하여 이분법의 로그 복잡도를 제거하고 실용적 성능 향상을 도모한다.
• 헤시안 리프시츠 상수 M를 조정할 필요가 없는 적응형 2차 오라클을 개발한다.
• 홀더 연속 헤시안을 가진 함수에 대해 외부 반복 및 선형 시스템 해법의 복잡도를 로그 인자까지 최적화한다.
• 적응형 오라클의 2차 및 1차 구현을 제공하여 평가 복잡도가 최적 수준이 되도록 한다.
• 제안된 방법이 로지스틱 회귀에서 비적응형 기법보다 뛰어나며, L-BFGS 및 뉴턴 유사 방법과 경쟁하거나 그 이상의 성능을 보임을 경험적으로 입증한다.

제안 방법

• 은닉 방정식을 해결하지 않기 위해 프록시 매개변수 갱신 방식을 재정의함으로써, 이분법이 없는 수정된 몬테이로-스바이터 가속 프레임워크를 제안한다.
• 헤시안 리프시츠 상수를 사전에 알지 못해도 정규화 매개변수를 동적으로 조정할 수 있는 새로운 적응형 오라클 aMSN을 도입한다.
• 오라클 호출당 이중 로그 수준의 선형 시스템 해법을 사용하여 이전 방법 대비 계산 오버헤드를 크게 감소시킨다.
• 이론적 분석에서 유도된 적응형 정지 기준을 사용하여 MinRes를 활용해 선형 시스템을 근사적으로 푸는 1차 구현인 aMSN-fo를 개발한다.
• 특히 불량 조건이 심한 상황에서 수렴을 보장하기 위해 가속 프레임워크에 모멘타움 감쇠 메커니즘을 통합한다.
• 적응형 오라클을 수정된 가속 프레임워크와 융합하여, 홀더 연속 헤시안 함수에 대해 최적의 외부 반복 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 몬테이로-스바이터 가속 프레임워크는 이분법을 제거하면서도 최적 수렴 속도를 유지할 수 있는가?
• RQ2 헤시안 리프시츠 상수 M를 조정할 필요가 없는 적응형 2차 오라클을 설계할 수 있는가?
• RQ3 립시츠 p차 도함수를 가진 볼록 최적화 문제에 대해 2차 및 1차 방법의 최적 평가 복잡도는 무엇인가?
• RQ4 제안된 적응형 오라클의 성능은 비적응형 기법과 로지스틱 회귀에서 L-BFGS에 비해 어떻게 되는가?
• RQ5 가속 프레임워크 내의 모멘타움 감쇠 메커니즘이 수렴 안정성에 상당한 기여를 하는가?

주요 결과

• 제안된 방법은 ν차 홀더 연속 헤시안을 가진 함수에 대해 O(t^{-(4+3ν)/2})의 최적 수렴 속도를 달성하며, 로그 인자까지 알려진 하한선과 일치한다.
• 적응형 오라클 aMSN은 오라클 호출당 이중 로그 수준의 선형 시스템 해법만을 요구하여, 이전의 MS 기반 방법의 로그 비용보다 향상되었다.
• 1차 구현인 aMSN-fo는 기울기 리프시츠 상수를 알지 못해도 추가 로그 항을 제외한 최적의 1차 평가 복잡도를 달성한다.
• 로지스틱 회귀에서, 적응형 가속 방법은 이전의 2차 가속 기법을 능가하며 L-BFGS 성능과 경쟁하거나 그 이상의 성능을 보였다.
• 모멘타움 감쇠 메커니즘은 수렴에 필수적이며, 이를 제거하면 테스트된 모든 데이터셋에서 실패를 보였다.
• 립시츠 헤시안을 가진 악성 사례에서, 가속 방법은 기대하는 O(t^{-7/2}) 속도를 달성하여 이론적 성과를 확인했다.