[논문 리뷰] RECAPP: Crafting a More Efficient Catalyst for Convex Optimization

Yair Carmon, Arun Jambulapati외 2명|arXiv (Cornell University)|2022. 06. 17.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 볼록 최적화에서 고정밀도 보조 문제 해법이 필요하지 않도록 하는 가속화된 프락시멀 포인트 방법을 위한 유연한 오차 기준인 RECAPP를 제안한다. 표준 정확도 요구 조건을 느슨한 조건으로 대체함으로써 RECAPP는 유한합 및 최대 구조 문제에서 최적의 복잡도 한계를 달성하며, 이는 이전의 Catalyst 기반 및 문제 특화 방법보다 우월하거나 동등한 성능을 보인다. 이는 복잡도에 영향을 주는 로그 인자들을 제거함으로써 달성된다.

ABSTRACT

The accelerated proximal point algorithm (APPA), also known as "Catalyst", is a well-established reduction from convex optimization to approximate proximal point computation (i.e., regularized minimization). This reduction is conceptually elegant and yields strong convergence rate guarantees. However, these rates feature an extraneous logarithmic term arising from the need to compute each proximal point to high accuracy. In this work, we propose a novel Relaxed Error Criterion for Accelerated Proximal Point (RECAPP) that eliminates the need for high accuracy subproblem solutions. We apply RECAPP to two canonical problems: finite-sum and max-structured minimization. For finite-sum problems, we match the best known complexity, previously obtained by carefully-designed problem-specific algorithms. For minimizing $\max_y f(x,y)$ where $f$ is convex in $x$ and strongly-concave in $y$, we improve on the best known (Catalyst-based) bound by a logarithmic factor.

연구 동기 및 목표

• 기존의 Catalyst/가속화된 프락시멀 포인트 방법이 고정밀도 보조 문제 해법을 요구함으로써 발생하는 이론적 및 실용적 비효율성을 해결한다.
• 프락시멀 포인트 계산에서 엄격한 정확도 요구 조건으로 인해 발생하는 수렴 속도의 부가적 로그 인자를 제거한다.
• 가속화의 이점을 유지하면서 보조 문제 해법에 따른 계산 오버헤드를 줄이는 일반 목적의 프레임워크를 개발한다.
• 문제 특화 설계에 의존하지 않고도 유한합 및 최대 구조 최소화 문제에 대해 최적 또는 근사 최적의 복잡도 한계를 달성한다.

제안 방법

• 보조 문제 해법의 정확도를 낮추어도 되는 새로운 유연한 오차 조건(RECAPP)을 제안하여 반복 횟수를 줄인다.
• 표준 보조 문제 해법(예: SVRG, 미러-프락스)을 사용할 수 있도록 하는 새로운 오차 한계를 도입하여 복잡도에 추가적인 로그 항이 발생하지 않도록 한다.
• 유한합 문제에 대해 RECAPP를 SVRG와 결합하여 $ O(n\log\log n + \sqrt{nLR^2/\epsilon}) $의 최고 성능 복잡도 한계를 달성한다.
• 최대 구조 문제에 대해 RECAPP를 적용하기 위해 미러-프락스를 보조 문제 해법으로 사용하여 $ O(LR/\sqrt{\mu\epsilon}) $의 기울기 쿼리 수를 달성하며, 이는 이전의 Catalyst 기반 복잡도 한계에서 로그 인자를 제거한 것이다.
• 강력 볼록 목적 함수에 대해 선형 수렴을 달성하기 위해 재시작 전략을 사용한다.
• 오차 허용을 고려한 약간 수정된 근사 프락시멀 오рак루의 형태로 복잡도 분석을 체계화하여, 추가적인 로그 항 없이 수렴 보장을 확보한다.

실험 결과

연구 질문

• RQ1 Catalyst 기반 수렴 속도에서의 로그 인자는 일반성이나 안정성에 손상을 주지 않고 제거될 수 있는가?
• RQ2 가속화를 유지하면서 보조 문제 정확도 요구 조건을 완화할 수 있는 새로운 오차 조건을 설계할 수 있는가?
• RQ3 RECAPP는 문제 특화 알고리즘 설계에 의존하지 않고도 유한합 문제에 대해 최적의 복잡도 한계를 달성할 수 있는가?
• RQ4 RECAPP는 볼록-볼록 목적이 있는 최소-최대 문제에서 최신 기술 수준의 복잡도를 향상시킬 수 있는가?
• RQ5 이 프레임워크는 비강력 볼록 및 강력 볼록 설정 모두에 대해 최적의 수렴 속도를 달성하도록 확장될 수 있는가?

주요 결과

• 유한합 문제에 대해 RECAPP와 SVRG를 조합하면 $ O(n\log\log n + \sqrt{nLR^2/\epsilon}) $의 최고 성능 복잡도 한계를 달성하며, 이는 전용 알고리즘의 최적 속도와 일치한다.
• 함수 $ f $ 가 $ x $ 에 대해 볼록이고 $ y $ 에 대해 $ \mu $-강력 볼록일 때 $ \max_y f(x,y) $ 를 최소화하는 데 대해 RECAPP는 로그 인자를 제거하여 $ O(LR/\sqrt{\mu\epsilon}) $의 기울기 쿼리 수를 달성하며, 이는 渐近적으로 최적이다.
• 이전의 Catalyst 기반 복잡도 한계인 $ O(LR/\sqrt{\mu\epsilon} \log(LR/\sqrt{\mu\epsilon})) $ 에서 로그 항을 제거함으로써 기존 결과를 향상시킨다.
• 비용이 큰 보조 문제 해법의 횟수를 줄이며도 전역 수렴 보장을 유지함으로써 실용적 효율성을 향상시킨다.
• 로지스틱 회귀에 대한 초도 실험 결과 RECAPP는 실질적으로 Catalyst-SVRG와 경쟁 가능하다.
• 이론적 분석을 통해 RECAPP가 비강력 볼록 및 강력 볼록 설정 모두에서 최적의 복잡도를 달성하며, 기울기 및 보조 문제 쿼리 복잡도에 대해 날카운 경계를 확보함을 확인했다.