[논문 리뷰] Linear Convergence of Gradient and Proximal-Gradient Methods Under the Polyak-\L{}ojasiewicz Condition

Hamed Karimi, Julie Nutini외 1명|arXiv (Cornell University)|2016. 08. 16.

Stochastic Gradient Optimization Techniques참고 문헌 53인용 수 75

한 줄 요약

이 논문은 평탄하지 않은 최적화 문제에서 경사하강법 및 프록시멀-경사하강법의 선형 수렴성을 증명하는 데 있어 폴리악-로자예프스키(PL) 부등식이 강력한 볼록성 없이도 통합적이고 단순한 프레임워크를 제공함을 입증한다. PL 조건은 이전의 조건들인 제한된 정_secant 부등식이나 이차 성장 조건보다 더 약한 조건임을 보이며, 최소 제곱, 로지스틱 회귀, L1-정규화 문제와 같은 주요 머신러닝 문제에서 경사하강법, 좌표 하강법, 확률적 경사하강법, 프록시멀 방법의 선형 수렴 속도를 유도하는 데 사용된다.

ABSTRACT

In 1963, Polyak proposed a simple condition that is sufficient to show a global linear convergence rate for gradient descent. This condition is a special case of the \L{}ojasiewicz inequality proposed in the same year, and it does not require strong convexity (or even convexity). In this work, we show that this much-older Polyak-\L{}ojasiewicz (PL) inequality is actually weaker than the main conditions that have been explored to show linear convergence rates without strong convexity over the last 25 years. We also use the PL inequality to give new analyses of randomized and greedy coordinate descent methods, sign-based gradient descent methods, and stochastic gradient methods in the classic setting (with decreasing or constant step-sizes) as well as the variance-reduced setting. We further propose a generalization that applies to proximal-gradient methods for non-smooth optimization, leading to simple proofs of linear convergence of these methods. Along the way, we give simple convergence results for a wide variety of problems in machine learning: least squares, logistic regression, boosting, resilient backpropagation, L1-regularization, support vector machines, stochastic dual coordinate ascent, and stochastic variance-reduced gradient methods.

연구 동기 및 목표

• 선형 수렴을 위한 이전의 완화 조건들보다 더 일반적이고 더 약한 조건으로 폴리악-로자예프스키(PL) 부등식을 통합적으로 정립하는 것.
• PL 조건을 사용하여 경사하강법, 좌표 하강법, 확률적 경사하강법, 프록시멀-경사하강법의 단순하고 통합적인 수렴 증명을 제공하는 것.
• 최소 제곱, 로지스틱 회귀, L1-정규화와 같은 표준 머신러닝 문제에서 PL 조건 하에 선형 수렴이 성립함을 보여주는 것.
• 비미분 가능 문제로의 PL 부등식 일반화를 위해 프록시멀-경사하강법을 통해 프록시멀-PL 조건을 도입하고, 이를 쿠르디카-로자예프스키(KL) 조건과 연결하는 것.

제안 방법

• PL 부등식을 제안: 어떤 μ>0에 대해 ||∇f(x)||² ≥ 2μ(f(x)−f*)를 만족하며, 이는 단계 크기가 1/L인 경사하강법의 전역 선형 수렴을 보장한다.
• PL 부등식을 사용하여 선형 수렴 속도 유도: 단계 크기가 1/L인 경사하강법에 대해 f(xk)−f* ≤ (1−μ/L)^k (f(x0)−f*)
• 무작위 및 그릿한 좌표 하강법에 PL 조건를 적용하여 동일한 조건 하에 선형 수렴을 보임을 분석한다.
• 비미분 가능 문제로의 PL 부등식 일반화를 위해 프록시멀-PL 조건을 도입하며, 이는 비미분 가능 경우에 쿠르디카-로자예프스키(KL) 조건과 연결된다.
• 하향 기울기 및 프록시멀 매핑 기법을 사용하여 g가 볼록이지만 비미분 가능일 수 있는 복합 목적함수 F(x)=f(x)+g(x)의 수렴성을 증명한다.
• PL 프레임워크를 사용하여 감소 또는 일정한 단계 크기를 갖는 확률적 경사하강법 및 분산 감소 방법의 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 최근 제안된 선형 수렴 조건들인 제한된 정_secant 부등식이나 이차 성장 조건과 비교해 폴리악-로자예프스키(PL) 부등식이 엄밀히 더 약한가?
• RQ2 PL 부등식을 사용하여 최소 제곱, 로지스틱 회귀 등 다양한 머신러닝 문제에서 경사하강법, 좌표 하강법, 확률적 경사하강법에 대한 단순하고 통합적인 수렴 증명을 유도할 수 있는가?
• RQ3 PL 조건은 프록시멀-경사하강법을 통해 비미분 가능 최적화로 확장될 수 있으며, 이는 쿠르디카-로자예프스키(KL) 조건과 어떻게 관련이 있는가?
• RQ4 로지스틱 회귀 및 L1-정규화된 최소 제곱 문제처럼 강력한 볼록성이 없는 문제들에 대해서도 PL 조건을 사용하여 선형 수렴을 확립할 수 있는가?
• RQ5 비볼록 및 비미분 가능 최적화에서 기존의 오차 경계 또는 전역 수렴 프레임워크와 PL 조건 간의 관계는 무엇인가?

주요 결과

• PL 부등식은 모든 주요 대체 조건들(예: RSI, QG, WSC, ESC, EB)보다 더 약한 조건이므로, 선형 수렴을 위한 더 일반적이고 통합적인 프레임워크이다.
• 단계 크기가 1/L인 경사하강법은 PL 조건 하에 선형 수렴을 보인다: f(xk)−f* ≤ (1−μ/L)^k (f(x0)−f*)
• PL 조건은 로지스틱 회귀 및 최소 제곱 문제의 선형 수렴을 암시하며, 이러한 문제들은 강력한 볼록성이 없음에도 불구하고 성립한다.
• 비미분 가능 경우에 프록시멀-경사하강법은 일반화된 프록시멀-PL 조건 하에 선형 수렴을 달성하며, 이는 비미분 가능 경우에 KL 조건과 동치이다.
• 무작위 및 그릿한 좌표 하강법에 대한 새로운 수렴 속도를 도출하였으며, 부스팅 변형에 대해서도 적용 가능하다.
• 분산 감소 확률적 경사하강법 및 신호 기반 경사하강법에 대한 간단한 증명을 제공하며, PL 조건 하에 선형 수렴이 성립한다.