[논문 리뷰] On the Iteration Complexity of Oblivious First-Order Optimization Algorithms

Yossi Arjevani, Ohad Shamir|arXiv (Cornell University)|2016. 05. 11.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 스무쓰니스 및 강凸성 매개변수 외에는 함수에 대해 무관한 스텝 사이즈를 스케줄링하는 옹호되지 않는 일阶 최적화 알고리즘에 대한 기본적인 반복 복잡도 하한을 설정한다. $L$-스무쓰한 볼록 함수의 경우 이러한 알고리즘은 $\Omega(\sqrt{L/\epsilon})$번의 반복이 필요하며, $\mu$-강凸성 있는 함수의 경우 $\tilde{\Omega}(\sqrt{L/\mu}\ln(1/\epsilon))$의 복잡도를 보이며, 고전적 오라클 모델의 한계를 극복하는 구조 기반 프레임워크를 사용한다.

ABSTRACT

We consider a broad class of first-order optimization algorithms which are \emph{oblivious}, in the sense that their step sizes are scheduled regardless of the function under consideration, except for limited side-information such as smoothness or strong convexity parameters. With the knowledge of these two parameters, we show that any such algorithm attains an iteration complexity lower bound of $Ω(\sqrt{L/ε})$ for $L$-smooth convex functions, and $ ildeΩ(\sqrt{L/μ}\ln(1/ε))$ for $L$-smooth $μ$-strongly convex functions. These lower bounds are stronger than those in the traditional oracle model, as they hold independently of the dimension. To attain these, we abandon the oracle model in favor of a structure-based approach which builds upon a framework recently proposed in (Arjevani et al., 2015). We further show that without knowing the strong convexity parameter, it is impossible to attain an iteration complexity better than $ ildeΩ\left((L/μ)\ln(1/ε) ight)$. This result is then used to formalize an observation regarding $L$-smooth convex functions, namely, that the iteration complexity of algorithms employing time-invariant step sizes must be at least $Ω(L/ε)$.

연구 동기 및 목표

• 최적화되는 특정 함수에 대해 무관한 일阶 최적화 알고리즘의 기본 계산 한계를 이해하기 위해, 스무쓰니스 및 강凸성 매개변수에만 의존한다.
• 고전적 오라클 모델의 한계를 극복하기 위해, 이 모델은 너무 관대하여 고차원에서의 계산 효율성을 반영하지 못할 수 있다.
• 반복 알고리즘의 동역학을 포착하고 반복 복잡도에 대한 더 날카로운 하한을 가능하게 하는 구조 기반 프레임워크를 개발한다.
• 강凸성 매개변수 $\mu$를 알지 못할 경우 알고리즘 설계에서의 본질적 상충관계를 정형화하며, 이 정보가 없을 경우 복잡도가 상당히 악화됨을 보여준다.

제안 방법

• 최근 $p$개의 반복값에 대한 선형 재귀로 모델링하는 $p$-정적 표준 선형 반복($p$-SCLI) 알고리즘의 프레임워크를 도입한다.
• 전통적인 오라클 모델 대신 알고리즘의 동역학에 중점을 두고 쿼리 기반 정보 획득이 아닌 구조 기반 접근 방식을 사용한다.
• 이차 함수의 헤시안 행렬의 알려진 구조를 기반으로 $p$-SCLI 알고리즘의 수렴 행동을 분석하여 반복 복잡도의 하한을 유도한다.
• 수렴 매개변수, $L$, $\mu$에 따라 스텝 사이즈를 재초기화하는 재시작 기법(Scheme 4.2)을 적용하여 수렴 속도를 향상시킨다.
• 재시작 기법에 대해 정적 $p$-SCLI의 불변성을 활용하여 수렴 속도에 대한 제약 조건을 유도한다.
• 스펙트럼 분석과 재귀 선형 동역학을 활용하여, 수렴 속도가 본질적으로 조건 수 $\kappa = L/\mu$에 의해 제한됨을 증명한다.

실험 결과

연구 질문

• RQ1 어떤 옹호되지 않는 일阶 알고리즘도 $L$-스무쓰한 볼록 함수에서 $\epsilon$-최적화를 달성하기 위해 최소 몇 번의 반복이 필요한가?
• RQ2 강凸성의 존재가 옹호되지 않는 알고리즘의 반복 복잡도 하한에 어떤 영향을 미치는가?
• RQ3 고전적 오라클 모델은 계산 효율성과 차원에 의존하지 않는 하한을 더 잘 반영하는 구조 기반 프레임워크로 대체될 수 있는가?
• RQ4 강凸성 매개변수 $\mu$를 알고리즘이 알지 못할 경우 반복 복잡도는 어떻게 되는가?
• RQ5 표준 알고리즘인 경사하강법과 네스테로프 방법이 유도된 하한에 도달하는 이유는 무엇이며, 일반화가 고차원 방법으로 확장되지 못하는 이유는 무엇인가?

주요 결과

• $L$-스무쓰한 볼록 함수의 경우, 어떤 옹호되지 않는 일阶 알고리즘이라도 $\epsilon$-최적화를 달성하기 위해 최소 $\Omega(\sqrt{L/\epsilon})$회의 반복이 필요하다.
• $L$-스무쓰한 $\mu$-강凸성 있는 함수의 경우 반복 복잡도 하한은 $\tilde{\Omega}(\sqrt{L/\mu}\ln(1/\epsilon))$이며, 차원과 무관하다.
• 강凸성 매개변수 $\mu$를 알지 못할 경우, 최선의 가능한 반복 복잡도는 $\tilde{\Omega}((L/\mu)\ln(1/\epsilon))$로 악화되며, 이는 본질적인 상충관계를 시사한다.
• 시간 불변 스텝 사이즈 기법은 $L$-스무쓰한 볼록 함수의 경우 최소 $\Omega(L/\epsilon)$회의 반복을 유발하며, 이는 이전에 알려진 바보다 더 강한 하한이다.
• 재시작 기법(Scheme 4.2)은 $p$-SCLIs에 적용되었을 때 $\tilde{\mathcal{O}}(\sqrt[\alpha]{\kappa}\ln(1/\epsilon))$의 반복 복잡도를 달성할 수 있으나, 이는 $\alpha \leq 1$일 때만 가능하며, 이는 정적 알고리즘에 대해 수렴 속도를 $\mathcal{O}(L/k)$로 제한한다.
• 결과적으로 표준 경사하강법이 $\mathcal{O}(L/k)$ 수렴 속도를 달성하며, 옹호되지 않는 제약 조건 하에서 정적 $p$-SCLIs 클래스에서 최적이며, 더 빠른 속도는 가능하지 않음을 확인한다.