[논문 리뷰] The exact worst-case convergence rate of the gradient method with fixed step lengths for L-smooth functions

Hadi Abbaszadehpeivasti, Etienne de Klerk외 1명|arXiv (Cornell University)|2021. 04. 12.

Stochastic Gradient Optimization Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 성능 평가 문제와 준정형계획법을 이용하여 고정된 스텝 크기를 갖는 경사하강법이 L-스무쓰 함수에 대해 갖는 정확한 최악의 경우 수렴 속도를 규명한다. 기존 연구보다 더 날카운 수렴 한계를 유도하고, 스텝 크기가 (0, 1/L]에 속할 경우 그 정확성을 증명하며, 수렴 한계를 최소화하는 최적의 스텝 크기 tk = √(4/3)/L를 규명한다. 이로 인해 수렴 속도는 4LΔ/(3N+2)에서 4LΔ/(3N+2)로 개선되며, 상수 요소가 더 작아진다.

ABSTRACT

In this paper, we study the convergence rate of the gradient (or steepest descent) method with fixed step lengths for finding a stationary point of an $L$-smooth function. We establish a new convergence rate, and show that the bound may be exact in some cases, in particular when all step lengths lie in the interval $(0,1/L]$. In addition, we derive an optimal step length with respect to the new bound.

연구 동기 및 목표

• 고정된 스텝 크기를 갖는 경사하강법이 L-스무쓰 함수에 대해 더 날카운 최악의 경우 수렴 속도를 유도하는 것.
• 유도된 수렴 한계가 정확한 조건을 설정하는 것.
• 최악의 경우 수렴 한계를 최소화하는 최적의 스텝 크기를 규명하는 것.
• 테일러의 추측된 수렴 한계를 공식적으로 증명하고 기존 결과를 향상시키는 것.

제안 방법

• 이차 제약 조건을 갖는 성능 평가 문제(PEP)로 최악의 경우 수렴 속도를 공식화하는 것.
• 무한차원 최적화 문제를 해결하기 위해 준정형계획법(SDP) 근사를 사용하는 것.
• 부등식 |f(y) − f(x) − ⟨∇f(x), y−x⟩| ≤ (L/2)∥y−x∥²를 통해 L-스무쓰 함수의 특성화를 적용하는 것.
• 유도된 한계에서 등호를 만족하는 특정 L-스무쓰 함수를 구성하여, 스텝 크기가 (0, 1/L]일 경우의 정확성을 입증하는 것.
• 미적분과 오목성 분석을 통해 수렴 한계의 오른쪽 항을 최소화함으로써 최적의 스텝 크기를 도출하는 것.
• 인터폴레이션 조건과 행렬 부등식을 활용하여 구성된 함수가 L-스무쓰성과 경사하강 조건을 만족하도록 보장하는 것.

실험 결과

연구 질문

• RQ1 고정된 스텝 크기를 갖는 경사하강법이 L-스무쓰 함수에 대해 갖는 정확한 최악의 경우 수렴 속도는 무엇인가?
• RQ2 유도된 수렴 한계가 정확하거나 정확한 조건은 무엇인가?
• RQ3 최악의 경우 수렴 한계를 최소화하는 최적의 스텝 크기는 무엇인가?
• RQ4 새로운 수렴 한계는 테일러, 누스테로프, 드로리 등 이전 결과와 비교하여 어떻게 다른가?

주요 결과

• 논문은 새로운 수렴 한계를 확립한다: min₁≤k≤N+1 ‖∇f(xk)‖ ≤ [4Δ / (∑ₖ min(−L²tₖ³ + 4tₖ, −Ltₖ² + 4tₖ) + 2/L)]^(1/2), tk ∈ (0, √3/L)에서 유효하다.
• 모든 스텝 크기 tk ∈ (0, 1/L]일 경우, 등호를 만족하는 L-스무쓰 함수를 구성함으로써 이 수렴 한계가 정확함을 입증한다.
• 특수한 경우 tk = 1/L일 경우, 수렴 한계는 [4L(f(x₁)−f⋆)/(3N+2)]^(1/2)로 개선되며, 상수는 4/3 ≈ 1.333에서 6√3/8 ≈ 1.299로 더욱 작아진다.
• 수렴 한계를 최소화하는 최적의 스텝 크기는 모든 k에 대해 tk = √(4/3)/L이며, 이는 가장 날카운 최악의 경우 수렴 속도를 제공한다.
• 논문은 테일러의 추측된 수렴 한계 (4LΔ/(3N))^(1/2)를 공식적으로 증명하며, 이는 새로운 수렴 한계의 특수한 경우임을 보여준다.
• 저자들은 새로운 수렴 한계가 (0, 2/L)의 모든 스텝 크기에 대해 여전히 정확할 것이라 추측한다. 이는 증명된 (0, 1/L] 범위를 초과하는 확장이다.