[논문 리뷰] General Convergence Rates Follow From Specialized Rates Assuming Growth Bounds

Benjamin Grimmer|arXiv (Cornell University)|2019. 05. 15.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 허들 성장 조건(포함하여 이차 및 날카로운 성장 포함)을 가정할 때 특수한 수렴 속도로부터 일반적인 수렴 속도를 도출하는 메타정리를 제안한다. 기존의 성장 조건 하에서의 수렴 증명 구조를 활용하여 알고리즘을 수정하지 않고도 일반 볼록 케이스로의 수렴 속도를 일반화함으로써, 최소한의 오버헤드로 모든 설정에서 통합된 분석이 가능해진다.

ABSTRACT

Often in the analysis of first-order methods, assuming the existence of a quadratic growth bound (a generalization of strong convexity) facilitates much stronger convergence analysis. Hence the analysis is done twice, once for the general case and once for the growth bounded case. We give a meta-theorem for deriving general convergence rates from those assuming a growth lower bound. Applying this simple but conceptually powerful tool to the proximal point method, the subgradient method, and the bundle method immediately recovers their known convergence rates for general convex optimization problems from their specialized rates. Future works studying first-order methods can assume growth bounds for the sake of analysis without hampering the generality of the results. Our results can be applied to lift any rate based on a Hölder growth bound. As a consequence, guarantees for minimizing sharp functions imply guarantees for both general functions and those satisfying quadratic growth.

연구 동기 및 목표

• 일반 볼록 문제와 성장 조건이 있는 문제(예: 이차 또는 날카로운 성장)에 대해 별도로 수렴 속도를 유도하는 데 발생하는 비효율성을 해결한다.
• 성장 조건 하에서 도출된 속도가 체계적으로 일반 속도로 변환될 수 있음을 보여주어 반복적인 분석의 필요성을 제거한다.
• 프록시멀 포인트, 서그리디언트, 번들 방법을 포함한 다양한 일阶 최적화 방법에 적용 가능한 일반 프레임워크를 제공한다.
• 연구자들이 분석 중에는 성장 조건을 가정하더라도 최종 수렴 보장에서 일반성을 손상시키지 않도록 한다.
• 허들 성장 조건에 기반한 수렴 속도를 일반 볼록 케이스로 올리는 데 이르는 이론적 기반을 구축한다.

제안 방법

• 허들 성장 조건 $ F(x) \geq F(x^*) + \alpha \|x - x^*\|^p $ 하에서 도출된 수렴 속도를 일반 함수에 대한 일반 속도로 변환하는 메타정리를 제안한다.
• 알고리즘이 (A1)–(A3)를 만족한다고 가정한다: 함수 및 서브기울기 값에 대한 의존성, 유한한 반복값, 성장 조건 하에서의 수렴.
• 프록시멀 포인트, 서그리디언트, 번들 방법의 세 표준 방법에 이 기법을 적용하여 특수한 수렴 속도로부터 알려진 일반 수렴 속도를 복원한다.
• 성장 매개변수 $\alpha$, 初기 거리 $\|x_0 - x^*\|$, 그리고 원하는 정확도 $\epsilon$ 간의 상호작용을 분석하여 경계를 유도한다.
• 일반 케이스에서 $\epsilon$-정확도를 확보하기 위해 필요한 반복 수를 제어하기 위해 로그 및 역수 의존성을 활용한다.
• 기존의 성장 조건 하에서 알려진 수렴 속도(예: 번들 방법의 경우 Du와 Ruszczyński의 결과)를 활용하고, 메타정리를 적용하여 일반 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 알고리즘을 수정하지 않고도 성장 조건 하에서 도출된 수렴 속도를 일반 볼록 수렴 속도로 체계적으로 변환할 수 있는가?
• RQ2 기존의 일阶 최적화 방법에 대한 특수한 수렴 속도가 약한 가정 하에서 일반 속도를 암시하는 정도는 어느 정도인가?
• RQ3 성장 조건을 가정함으로써 번들 방법과 같은 복잡한 방법의 분석을 얼마나 단순화할 수 있는가?
• RQ4 이론적 이론화 기법이 적용 가능한 일阶 최적화 방법에 대한 최소한의 구조적 요구 조건은 무엇인가?
• RQ5 이론적 이론화 기법을 이차 및 날카로운 성장 외에도 일반 허들 성장 조건으로 일반화할 수 있는가?

주요 결과

• 프록시멀 포인트 방법의 일반 수렴 속도는 $ O(\|x_0 - x^*\|^2 / \epsilon) $이며, 이는 이차 성장 조건 하에서의 특수한 수렴 속도로부터 복원된 결과이다.
• 서그리디언트 방법은 일반 수렴 속도 $ O(\|x_0 - x^*\|^2 / \epsilon^2) $를 달성하며, 이는 기존의 알려진 경계와 일치한다. 이는 날카로운 성장 조건 하에서 유도된 결과이다.
• 번들 방법의 일반 수렴 속도는 $ O(\|x_0 - x^*\|^4 / \epsilon^3) $이며, 이는 키와일의 결과와 로그 인자 외에는 일치한다.
• 이론적 이론화 기법은 모든 방법에 대해 균일하게 적용되며 알고리즘의 수정 없이 원래 방법의 구조를 유지한다.
• 유도된 일반 수렴 속도는 날카롭고 기존의 알려진 경계와 일치하여 이론의 정확성과 실용적 유용성을 확인한다.
• 이 프레임워크는 연구자들이 분석 중에는 성장 조건을 가정하더라도 여전히 유효하고 일반적인 수렴 보장을 확보할 수 있도록 한다.