[논문 리뷰] Complexity Guarantees for Polyak Steps with Momentum

Mathieu Barré, Adrien Taylor외 1명|arXiv (Cornell University)|2020. 02. 03.

Computability, Logic, AI Algorithms참고 문헌 1인용 수 5

한 줄 요약

이 논문은 매끄럽고 강凸된 최적화 문제에서 선형 수렴를 달성하기 위해 알려진 최적값 $f^*$를 사용하여 단계 크기를 결정하는 Polyak 단계를 사용하는 가속화된 경사 하강법을 제안한다. 강凸성 파라미터의 필요성을 $f^*$로 대체함으로써, 조정 없이도 가속화된 수렴 속도를 달성하며, 기존 방법에 비해 향상된 이론적 복잡도 보장을 제공한다.

ABSTRACT

In smooth strongly convex optimization, knowledge of the strong convexity parameter is critical for obtaining simple methods with accelerated rates. In this work, we study a class of methods, based on Polyak steps, where this knowledge is substituted by that of the optimal value, $f_*$. We first show slightly improved convergence bounds than previously known for the classical case of simple gradient descent with Polyak steps, we then derive an accelerated gradient method with Polyak steps and momentum, along with convergence guarantees.

연구 동기 및 목표

• 강凸성 파라미터의 지식이 필요 없이도 가속화된 수렴을 달성하는 적응형 최적화 방법을 개발하는 것.
• 강凸성 상수에 대한 의존성을 알려진 최적값 $f^*$로 대체하여, 더 단순하고 더 강건한 구현을 가능하게 하는 것.
• 매끄럽고 강凸된 설정에서 모멘텀 기반 Polyak 단계 방법에 대한 이론적 복잡도 보장을 제공하는 것.
• Polyak 단계 프레임워크를 비매끄러운 항을 포함한 프록시멀 및 복합 최적화 문제로 확장할 수 있는지 탐색하는 것.
• 적응형 방법의 경험적 성능과 이론적 수렴 보장 간 격차를 메우는 것.

제안 방법

• 알려진 최적 목표치 $f^*$를 사용하여 단계 크기를 계산하는 모멘텀 가속화된 Polyak 단계의 변형을 제안한다.
• 최근의 일阶 방법 분석 프레임워크인 성능 평가 문제(PEP)를 사용하여 수렴 한계를 유도한다.
• 알고리즘에 내부 루프를 포함한 이중 루프 구조를 도입하여, $f^*$를 기반으로 모멘텀 파라미터를 추정한다.
• 프록시멀 확장을 통해 복합 목표 함수에 적응시켜, Lasso와 Tikhonov 정규화와 같은 비매끄러운 항에 적용 가능하게 한다.
• 성능 평가 접근법을 활용하여 날카운 수렴 속도를 유도하고, 매끄럽고 강凸 조건 하에서 선형 수렴가 가속화된 속도임을 증명한다.
• 최소 제곱, 로지스틱 회귀, Lasso 문제에서 수치적으로 검증하여, GD, AGM 및 일반적인 Polyak 단계와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 모멘텀이 있는 Polyak 단계는 강凸성 파라미터의 지식이 없이도 매끄럽고 강凸된 최적화 문제에서 가속화된 수렴 속도를 달성할 수 있는가?
• RQ2 $f^*$를 강凸성 상수 대신 사용할 경우 수렴 속도와 강건성에 어떤 영향을 미치는가?
• RQ3 Polyak 단계 프레임워크는 비매끄러운 항을 포함한 프록시멀 및 복합 최적화 문제로 확장할 수 있는가?
• RQ4 제안된 모멘텀 강화 Polyak 방법의 이론적 복잡도 보장은 무엇인가?
• RQ5 재시작 기반 방법의 외부 루프 오버헤드 없이도, 복잡도가 동일한 단일 루프 적응형 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 모멘텀 강화 Polyak 방법은 최고의 이론적 복잡도 한계를 달성하는 가속화된 선형 수렴 속도를 확보한다.
• 이 방법은 조정이 필요 없으며, 오직 알려진 최적값 $f^*$만 필요로 하여, 파rametric 가속화 방법보다 더 단순하고 더 강건하다.
• 수치 실험 결과, 표준 경사 하강법과 비가속화된 Polyak 단계를 초월하며, 조정 없이도 가속화된 방법과 경쟁 가능한 성능을 보인다.
• Lemma 3을 통해 $f^*$의 잘못된 지정에 대해서도 수렴 속도 저하가 제한됨을 보여주며, 이는 $f^*$에 대한 오차에 대한 저항성이 있음을 시사한다.
• Lasso와 정규화된 로지스틱 회귀에서 성공적으로 개발되고 검증된 프록시멀 변형은 복합 목표 함수에의 적용 가능성을 입증한다.
• 성능 평가 프레임워크를 통해 방법의 분석을 날카롭게 수행하였으며, 매끄럽고 강凸 조건 하에서의 가속화된 수렴 행동을 확인하였다.