[논문 리뷰] Revisiting the Polyak step size

Elad Hazan, Sham M. Kakade|arXiv (Cornell University)|2019. 05. 01.

Stochastic Gradient Optimization Techniques참고 문헌 5인용 수 10

한 줄 요약

이 논문은 경사하강법을 위한 Polyak 단계 크기의 재검토를 통해, 부드러움, 강력 볼록성, 리프시츠 조건에 대한 사전 지식 없이도 모든 표준 볼록 최적화 환경(비부드럽기, 부드럽기, 강력 볼록성, 잘 조절된 문제)에서 거의 최적의 수렴 속도를 달성하는 단순한 변종을 증명한다. 이 방법은 부적합도 갭과 기울기 노름을 사용하여 단계 크기를 적응적으로 조정하며, 파rameter-free 방식으로 최적의 수렴 속도를 달성한다.

ABSTRACT

This paper revisits the Polyak step size schedule for convex optimization problems, proving that a simple variant of it simultaneously attains near optimal convergence rates for the gradient descent algorithm, for all ranges of strong convexity, smoothness, and Lipschitz parameters, without a-priory knowledge of these parameters.

연구 동기 및 목표

• 다양한 문제 환경에서 동시에 최적의 수렴 속도를 달성하는 파rameter-free, 적응형 단계 크기 스케줄링이 부족한 일阶 볼록 최적화 문제를 해결한다.
• 단일한 단계 크기 규칙이 부드러움, 강력 볼록성, 리프시츠 파라미터의 수준에 따라 적응할 수 있는지 조사한다. 이는 이러한 파라미터에 대한 사전 지식이 필요하지 않다.
• 이전에는 비부드러운 볼록 문제에 대해 최적이라고 여겨졌던 Polyak 단계 크기의 일반화를 통해 모든 표준 볼록 최적화 설정에서 최적의 수렴 속도를 달성할 수 있음을 보여준다.
• 최적값에 대한 하한을 동적으로 개선하고 이를 이용해 단계 크기를 계산하는 적응형 알고리즘을 개발하여 튜닝 없이 수렴을 보장한다.
• 제안된 방법이 모든 볼록 환경에서 알려진 최고의 수렴 속도를 matching함을 이론적으로 보장한다. 이는 잘 조절된 문제에 대해 지수 수렴 속도를 포함한다.

제안 방법

• Polyak 단계 크기의 변종을 제안한다: $\eta_t = \frac{f(\mathbf{x}_t) - f(\mathbf{x}^\star)}{\|\nabla_t\|^2}$, 이는 부적합도 갭과 기울기 노름을 사용해 단계 크기를 적응적으로 설정한다.
• 하한 $\tilde{f}$ 를 $f(\mathbf{x}^\star)$ 에 대해 유지하고, 현재 반복이 원하는 정확도를 충족하지 못할 경우 이중 검색을 통해 업데이트하는 적응형 알고리즘(알고리즘 3)을 도입한다.
• 수렴 분석의 핵심 재귀식으로서, $d_{t+1}^2 \leq d_t^2 - 2\eta_t h_t + \eta_t^2 \|\nabla_t\|^2$ (레마 1) 를 사용하여 최적점까지의 거리 기반 수렴을 분석한다.
• 부적합도 갭 $h_t$ 와의 감소를 비교함으로써 수렴 한계를 확립하며, 강력 볼록성과 부드러움 성질을 활용해 $h_t$ 와 $\|\nabla_t\|^2$ 를 연결한다.
• 하한 $\tilde{f}$ 의 재귀적 개선 전략을 적용하며, 각 반복은 하한을 반으로 줄이거나, 하한과 진짜 최적값 사이의 갭을 반으로 줄이는 방식으로 진행된다.
• 알고리즘이 네 가지 알려진 최적 수렴 속도 중 최소값인 $O(1/\sqrt{T})$, $O(\beta/T)$, $O(1/(\alpha T))$, $O(e^{-\beta/\alpha \cdot T})$ 를 문제 환경에 따라 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 단일한 파rameter-free 단계 크기 스케줄링이 비부드럽기, 부드럽기, 강력 볼록성, 잘 조절된 문제 등 모든 표준 볼록 최적화 환경에서 최적의 수렴 속도를 달성할 수 있는가? 이는 부드러움, 강력 볼록성, 리프시츠 상수에 대한 사전 지식이 없이도 가능한가?
• RQ2 원래 비부드러운 볼록 문제에 대해 제안된 Polyak 단계 크기의 일반화가 부드럽기 및 강력 볼록 설정에서도 최적의 수렴 속도를 달성할 수 있는가?
• RQ3 최적값을 동적으로 추정하고 이를 이용해 단계 크기를 계산하는 적응형 알고리즘을 설계할 수 있는가? 이는 튜닝 없이 최적의 수렴 속도를 달성할 수 있는가?
• RQ4 부드러움, 강력 볼록성, 또는 리프시츠 상수가 알려져 있지 않은 상황에서, 경사하강법에 Polyak 단계 크기를 사용할 경우 어떤 이론적 보장을 확보할 수 있는가?
• RQ5 알고리즘 3의 적응형 하한 개선 전략이 각 환경에서 알려진 최고의 수렴 속도로 최적해에 수렴하는 데 어떻게 기여하는가?

주요 결과

• 제안된 Polyak 단계 크기 변종은 $\alpha$, $\beta$, $G$ 에 대한 사전 지식 없이도 모든 표준 볼록 최적화 환경(비부드럽기, 부드럽기, 강력 볼록성, 잘 조절된 문제)에서 알려진 최고의 수렴 속도를 달성한다.
• 비부드러운 볼록 문제에 대해서는 $O(1/\sqrt{T})$ 수렴 속도를 달성하며, 이는 투사 경사하강법의 최적 속도와 일치한다.
• $\beta$-부드러운 문제에 대해서는 $O(\beta/T)$ 수렴 속도를 달성하며, 이는 알려진 최적 속도와 일치한다.
• $\alpha$-강력 볼록 문제에 대해서는 $O(1/(\alpha T))$ 수렴 속도를 달성하며, 이는 경사하강법에 대해 최적이다.
• $\alpha$-강력 볼록이고 $\beta$-부드러운 문제에 대해서는 지수적 $O(e^{-\beta/\alpha \cdot T})$ 수렴 속도를 달성하며, 이는 알려진 최고의 속도와 일치한다.
• 적응형 알고리즘(알고리즘 3)은 $K = \lceil 2\log(f(\mathbf{x}^\star) - \tilde{f}_0)/B_T \rceil$ 반복 후 최종 반복점이 $f(\bar{\mathbf{x}}) - f(\mathbf{x}^\star) \leq f(\mathbf{x}^\star) + B_T$ 를 만족함을 보장한다. 여기서 $B_T$ 는 네 가지 최적 수렴 속도의 최소값이다.