[논문 리뷰] On Lower and Upper Bounds for Smooth and Strongly Convex Optimization Problems

Yossi Arjevani, Shai Shalev‐Shwartz외 1명|arXiv (Cornell University)|2015. 03. 23.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 17

한 줄 요약

이 논문은 다항식 기반 프레임워크를 도입하여 매끄럽고 강하게 볼록인 최적화 알고리즘을 분석함으로써 고정된 차원 설정에서 수렴 속도에 대한 날카운 상한과 하한을 드러낸다. 이 프레임워크는 네스테로프의 가속 경사 하강법을 최적 다항식 최적화 문제의 자연스러운 해로 유도하며, 특수한 구성 방식을 넘어서 체계적이고 원리적인 해석을 제공한다.

ABSTRACT

We develop a novel framework to study smooth and strongly convex optimization algorithms, both deterministic and stochastic. Focusing on quadratic functions we are able to examine optimization algorithms as a recursive application of linear operators. This, in turn, reveals a powerful connection between a class of optimization algorithms and the analytic theory of polynomials whereby new lower and upper bounds are derived. Whereas existing lower bounds for this setting are only valid when the dimensionality scales with the number of iterations, our lower bound holds in the natural regime where the dimensionality is fixed. Lastly, expressing it as an optimal solution for the corresponding optimization problem over polynomials, as formulated by our framework, we present a novel systematic derivation of Nesterov's well-known Accelerated Gradient Descent method. This rather natural interpretation of AGD contrasts with earlier ones which lacked a simple, yet solid, motivation.

연구 동기 및 목표

• 차원이 증가하는 경우가 아니라 고정된 유형의 차원에서 적용 가능한 결과를 확보함으로써, 매끄럽고 강하게 볼凸인 최적화의 하한에 대한 간극을 메우는 것.
• 경사 하강법, 헤비볼, 가속 경사 하강법과 같은 일阶 방법의 분석을 재귀 선형 연산자 프레임워크를 통해 통합하는 것.
• 네스테로프의 가속 경사 하강법을 다항식 최적화 문제의 최적 해로 유도함으로써 자연스럽고 체계적인 동기를 제공하는 것.
• 다항식 기반 알고리즘 프레임워크를 일반적인 매끄럽고 강하게 볼凸 함수로 확장하기 위한 캐논리컬 일阶 확장 방법을 도입함으로써, 이차 함수에서의 분석을 일반 함수로 확장하는 것.

제안 방법

• 최적화 알고리즘을 이전 반복값에 적용되는 재귀 선형 변환으로 모델링함으로써, 관련 특성 다항식의 스펙트럼 성질을 분석하는 문제로 환원한다.
• 강한 볼凸성과 매끄러움 매개변수로부터 유도된 제약 조건을 갖는 다항식에 대한 최적화 문제로 수렴 속도 한계를 공식화한다.
• 다항식 이론과 근 반경 이론을 활용하여, 특히 조건 수 $\kappa = L/\mu$에 대해 날카운 상한과 하한을 유도한다.
• 헤비볼과 네스테로프의 AGD와 같은 기존 방법들이 특정 다항식 최적화 문제의 해로 복원되며, 이로써 그 최적성의 본질이 드러난다.
• 이차 함수에서의 다항식 기반 알고리즘을 일반적인 매끄럽고 강하게 볼凸 함수로 확장하기 위한 캐논리컬 일阶 확장 방법을 도입한다. 이는 선형 연산자 대신 기울기를 치환함으로써 이루어진다.
• 약간의 오차 항을 허용하는 범위에서, 초기화 조건이 충분히 강한 경우 일반적인 매끄럽고 강하게 볼凸 함수에 대해 확장된 알고리즘의 국소 선형 수렴을 증명한다.

실험 결과

연구 질문

• RQ1 차원이 고정된 경우에 대해 매끄럽고 강하게 볼凸 함수에 대한 일阶 방법의 수렴 속도에 대해 가장 날카운 가능한 하한은 무엇인가?
• RQ2 경사 하강법, 헤비볼, AGD와 같은 표준 최적화 알고리즘의 수렴 행동을 다항식 프레임워크를 통해 어떻게 체계적으로 통합하고 분석할 수 있는가?
• RQ3 네스테로프의 가속 경사 하강법은 특수한 구성이 아니라 다항식 최적화 문제의 자연스러운 해로 도출될 수 있는가?
• RQ4 이차 함수에서의 다항식 기반 알고리즘이 일반적인 매끄럽고 강하게 볼凸 함수로 확장될 수 있도록 보장하는 조건은 무엇인가?
• RQ5 특성 다항식의 근 반경과 반복 최적화 방법의 수렴 속도 사이의 관계는 무엇인가?

주요 결과

• 논문은 이전의 하한이 반복 수와 함께 차원이 증가하는 경우에만 적용되던 것과 달리, 고정된 차원에서 유효한 새로운 하한을 확립한다.
• 헤비볼 방법의 수렴 속도가 $\rho^* = \frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1}$ 로 제한됨을 보이며, 이는 이 방법에 대해 알려진 최적 수렴 속도와 일치한다.
• 네스테로프의 가속 경사 하강법은 최적 다항식 최적화 문제의 해로 도출되며, 이는 그 설계에 대해 체계적이고 원리적인 동기를 제공한다.
• 다항식 기반 알고리즘의 캐논리컬 일阶 확장은 수렴 속도를 작은 오차 항 이내로 유지하며, 최소화점 근처에 초기화된 경우 일반적인 매끄럽고 강하게 볼凸 함수에 대해 선형 수렴을 보장한다.
• 이 프레임워크는 어떤 일阶 방법의 수렴 속도도 그 특성 다항식의 근 반경에 의해 결정됨을 드러내며, 알고리즘 설계와 다항식 근 분석을 연결한다.
• 분석은 매끄럽고 강하게 볼凸 문제의 최적 수렴 속도가 강한 볼凸성과 매끄러움 제약 조건 하에서 다항식의 극값 성질과 본질적으로 연결되어 있음을 보여준다.