[논문 리뷰] Potential Function-based Framework for Making the Gradients Small in Convex and Min-Max Optimization

Jelena Diakonikolas, Puqian Wang|arXiv (Cornell University)|2021. 01. 28.

Stochastic Gradient Optimization Techniques참고 문헌 53인용 수 7

한 줄 요약

이 논문은 매끄럽고 볼록이며, 볼록-음이 아닌 최소화 문제에서 기울기 노름을 최소화하는 일阶 최적화 알고리즘을 분석하기 위한 새로운 잠재함수 기반 프레임워크를 제안한다. 수렴를 기울기 노름 감소와 최적성 갭 사이의 상충관계로 프레임워크화함으로써, 직관적인 수렴 보장을 제공하고 날카러운 하한을 확립하며, 기존의 방법들인 외삽법(extragradient)이 기울기 노름 최소화에 있어 최적성이 아님을 증명하고, 적응형 단계 크기를 갖는 할퍼른 유형의 방법이 $1/k$ 속도를 최적으로 달성함을 보여준다.

ABSTRACT

Making the gradients small is a fundamental optimization problem that has eluded unifying and simple convergence arguments in first-order optimization, so far primarily reserved for other convergence criteria, such as reducing the optimality gap. We introduce a novel potential function-based framework to study the convergence of standard methods for making the gradients small in smooth convex optimization and convex-concave min-max optimization. Our framework is intuitive and it provides a lens for viewing algorithms that make the gradients small as being driven by a trade-off between reducing either the gradient norm or a certain notion of an optimality gap. On the lower bounds side, we discuss tightness of the obtained convergence results for the convex setup and provide a new lower bound for minimizing norm of cocoercive operators that allows us to argue about optimality of methods in the min-max setup.

연구 동기 및 목표

• 기울기 노름 최소화에 있어 함수 값이나 최적성 갭 최소화가 아닌, 일阶 알고리즘의 수렴 메커니즘을 통합하고 명확히 하는 것.
• 볼록 및 최소-최대 설정에서 기울기 노름 최소화에 대한 직관적이고 일반화 가능한 수렴 분석의 부족을 해결하는 것.
• 기울기 노름 최소화를 위한 날카로운 하한을 확립하여, 일부 알고리즘의 최적성과 기존 방법들인 외삽법과 미러-프록스의 부분 최적성임을 입증하는 것.
• 고정된 단계 크기를 갖는 표준 반복적 방법이 코코ercive 연산자의 노름을 최소화할 때 $1/\sqrt{k}$ 보다 빠른 수렴을 달성할 수 없음을 보이며, 최적 속도를 달성하기 위해 적응형 단계 크기가 필수적임을 밝히는 것.
• 유클리드 공간을 초월한 분석을 확장하고, 반복 횟수나 정확도 목표를 고정할 경우 근접 최적 수렴 속도를 달성하는 데서의 역할을 탐색하는 것.

제안 방법

• 기울기 노름 최소화를 기울기 노름 감소와 추상적인 최적성 갭 개념 사이의 상충관계로 해석하는 잠재함수 프레임워크를 제안한다.
• 복소수 계수의 알고리즘 재귀식에서 실수부와 허수부를 분석함으로써 복소해석학과 다항식 근사 기법을 사용해 하한을 유도한다.
• 특정 조건인 $\alpha^2 = L\eta - \eta^2$ 를 선택함으로써 $|c_0(\eta + \alpha i)|^{2K}$ 의 실수부와 허수부를 분리하고 변수 분리 및 실수부의 경계를 설정한다.
• 정규화 유사 접근법을 활용해 악재 상황에서의 기울기 노름 하한을 유도하며, 차수 $p$ 의 다항식 $c_0'(\eta)$ 에 대해 $\sup_{\eta \in (0,L]} L\eta |c_0'(\eta)|^{2K} \geq \frac{L^2}{80p^2K}$ 임을 보인다.
• 성능 평가 프레임워크와 준정적 프로그래밍 통찰을 활용해 최소-최대 설정에서 하한을 도출하며, 고정된 단계 크기를 갖는 표준 방법에 대해 $1/k$ 수렴 속도가 향상될 수 없음을 증명한다.
• 반복 횟수에 따라 단계 크기를 조정하는 할퍼른 알고리즘과 같은 방법들이 최적의 $1/k$ 수렴 속도를 달성하는 반면, 고정 단계 크기 방법은 $1/\sqrt{k}$ 로 제한됨을 보여준다.

실험 결과

연구 질문

• RQ1 기울기 노름 최소화에서 수렴을 이끄는 근본적 메커니즘은 무엇이며, 볼록 및 최소-최대 최적화 간에 어떻게 통합될 수 있는가?
• RQ2 외삽법과 미러-프록스와 같은 전통적인 일阶 최적화 방법들이 기울기 노름 최소화에 있어 최적이 아니지만, 원자-쌍대 갭 감소에 있어서는 최적이기 때문에 이유는 무엇인가?
• RQ3 기울기 노름 최소화에 대해 직관적이고 해석 가능한 수렴 분석을 제공할 수 있는 일반적인 잠재함수 프레임워크를 구성할 수 있는가?
• RQ4 최소-최대 문제에서 코코ercive 연산자의 노름을 최소화할 때 수렴 속도에 대한 가장 날카로운 하한은 무엇인가?
• RQ5 기울기 노름 최소화를 위한 표준 반복적 방법에서 고정된 단계 크기를 사용할 경우 $1/\sqrt{k}$ 보다 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• 제안된 잠재함수 프레임워크는 기울기 노름 감소와 최적성 갭 사이의 상충관계로 기울기 노름 최소화를 통합적으로 이해할 수 있는 시각을 제공하며, 직관적인 수렴 통찰을 제공한다.
• 악재 상황에서의 기울기 노름에 대해 $\frac{L^2}{80p^2K}$ 의 날카로운 하한이 확립되었으며, 이는 고정 단계 크기 방법이 코코ercive 연산자의 노름을 최소화할 때 $1/\sqrt{k}$ 보다 더 빠른 수렴을 달성할 수 없음을 증명한다.
• 적응형 단계 크기를 갖는 할퍼른 알고리즘이 기울기 노름 최소화에 대해 최적의 $1/k$ 수렴 속도를 달성하며, 이 속도는 고정 단계 크기 방법에 대해 향상될 수 없음을 보여준다.
• 기울기 노름 최소화에 있어서는 최적의 기울기 방법(FGM)이 함수 값 감소에 대해 최적이지만, 이는 수렴 기준 간의 근본적인 괴리함을 드러낸다.
• 이 프레임워크는 반복 횟수나 정확도 목표를 사전에 고정하는 것이 볼록 최적화에서 근접 최적 수렴 속도를 달성하는 데 핵심적임을 드러내며, 새로운 이론적 과제를 제기한다.
• 결과는 기존 알고리즘인 외삽법과 미러-프록스가 기울기 노름 최소화에 있어 본질적으로 최적이 아니며, 최적 성능을 달성하기 위해 적응형 단계 크기를 갖는 새로운 알고리즘 설계가 필요함을 암시한다.