[논문 리뷰] Gradient methods for convex minimization: better rates under weaker conditions

Hui Zhang, Wotao Yin|arXiv (Cornell University)|2013. 03. 19.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 50

한 줄 요약

이 논문은 기존의 전역 리프시츠 연속성 또는 전역 강凸성 가정을 완화함으로써 볼록 최적화에서 경사 하강법의 수렴 속도를 향상시킨다. 전역적 리프시츠 연속성이나 전역적 강凸성 대신, 반복점에서 그 경사 하강 방향으로의 특정 선분 위에서만 이 성질이 성립한다고 가정한다. 이 더 약한 조건 하에서, 일반 경사 하강법의 경우 $O(R/\theta)$, 가속된 방법의 경우 $O(\sqrt{R/\theta})$의 개선된 복잡도 한계를 도출하며, 제한된 세컨드 조건 하에서 추가로 향상된 결과를 얻는다.

ABSTRACT

The convergence behavior of gradient methods for minimizing convex differentiable functions is one of the core questions in convex optimization. This paper shows that their well-known complexities can be achieved under conditions weaker than the commonly accepted ones. We relax the common gradient Lipschitz-continuity condition and strong convexity condition to ones that hold only over certain line segments. Specifically, we establish complexities $O(\frac{R}ε)$ and $O(\sqrt{\frac{R}ε})$ for the ordinary and accelerate gradient methods, respectively, assuming that $ abla f$ is Lipschitz continuous with constant $R$ over the line segment joining $x$ and $x-\frac{1}{R} abla f$ for each $x\in\dom f$. Then we improve them to $O(\frac{R}ν\log(\frac{1}ε))$ and $O(\sqrt{\frac{R}ν}\log(\frac{1}ε))$ for function $f$ that also satisfies the secant inequality $\ < abla f(x), x- x^*\ > \ge ν\|x-x^*\|^2$ for each $x\in \dom f$ and its projection $x^*$ to the minimizer set of $f$. The secant condition is also shown to be necessary for the geometric decay of solution error. Not only are the relaxed conditions met by more functions, the restrictions give smaller $R$ and larger $ν$ than they are without the restrictions and thus lead to better complexity bounds. We apply these results to sparse optimization and demonstrate a faster algorithm.

연구 동기 및 목표

• 경사 하강법의 수렴 속도 보장을 향상시키기 위해, 경사와 헤시안에 대한 전통적인 전역 가정을 약화시키는 것.
• 기존에 전역 리프시츠 연속성과 강凸성 하에서만 알려진 비선형 및 선형 수렴 속도가 더 약한 국소적 조건 하에서도 달성될 수 있음을 보여주는 것.
• 제한된 리프시츠 조건과 세컨드 조건이 상수 $R$ 를 작게 하고 $\nu$ 를 크게 만들어, 전역 가정보다 더 나은 복잡도 한계를 도출할 수 있음을 보여주는 것.
• 특정 탐색 방향을 따라 국소적 경사 행동만을 사용하는 새로운 분석 프레임워크를 개발하여 더 날카운 수렴 추정을 가능하게 하는 것.
• 이론을 희소 최적화에 적용하여, 리스타트 및 스킵 기법을 통해 성능 향상을 보여주는 것.

제안 방법

• 각 반복점 $x$ 에 대해 $x$ 와 $x - \frac{1}{R}\nabla f(x)$ 를 연결하는 선분 위에서만 경사가 리프시츠 연속임을 가정하는 제한된 리프시츠 연속성 조건을 도입한다.
• 해의 집합에 대한 투영 $x^*$ 와의 관계에서 $\langle \nabla f(x), x - x^* \rangle \geq \nu \|x - x^*\|^2$ 를 만족하는 제한된 강凸성 조건을 제안한다.
• 이러한 제한된 조건 하에서 일반적 및 가속된 경사 하강법을 분석하고, 에너지 함수와 재귀 부등식 기법을 사용하여 수렴 속도를 도출한다.
• 수축 인자 최소화를 위해 변수 $h$ 와 스텝 크기 파ameter $\theta$ 를 사용하는 새로운 재귀 분석 기법을 적용한다.
• 오차 감소 인자에 대한 이차 부등식을 최소화하여 $\theta$ 와 $h$ 의 최적값을 유도함으로써 날카운 복잡도 추정을 도출한다.
• 이론을 희소 최적화에 적용하기 위해 리스타트 및 스킵 기법을 통합하여 실용적 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 일반 경사 하강법이 전역 경사 리프시츠 연속성 조건을 가정하지 않고도 $O(R/\epsilon)$ 수렴 속도를 달성할 수 있는가?
• RQ2 가속된 경사 하강법이 전역 $L$-리프시츠 조건보다 더 약한 경사 연속성 조건 하에서도 $O(\sqrt{R/\epsilon})$ 복잡도를 달성할 수 있는가?
• RQ3 제한된 세컨드 조건 $\langle \nabla f(x), x - x^* \rangle \geq \nu \|x - x^*\|^2$ 가 기하급수적 감소와 복잡도 한계 향상에 기여하는가?
• RQ4 제한된 리프시츠 조건은 관찰된 수렴 속도에 대해 필수적이고 충분한가? 전역 가정과 비교했을 때 어떻게 다른가?
• RQ5 새로운 조건이 리스타트 및 스킵 기법을 통해 희소 최적화에서 더 빠른 실용적 알고리즘을 가능하게 하는가?

주요 결과

• 일반 경사 하강법은 $x$ 와 $x - \frac{1}{R}\nabla f(x)$ 를 연결하는 선분 위에서 국소 리프시츠 상수 $R$ 를 가정할 때 $O(R/\epsilon)$ 반복 복잡도를 달성한다.
• 가속된 경사 하강법은 동일한 제한된 리프시츠 조건 하에서 $O(\sqrt{R/\epsilon})$ 복잡도를 달성하며, 기존의 표준 $O(\sqrt{L/\epsilon})$ 한계를 초월한다.
• 추가로 제한된 세컨드 조건(매개수 $\nu$)이 성립할 경우, 일반 경사 하강법은 $O\left(\frac{R}{\nu}\log\frac{1}{\epsilon}\right)$, 가속된 방법은 $O\left(\sqrt{\frac{R}{\nu}}\log\frac{1}{\epsilon}\right)$ 의 복잡도로 향상된다.
• 세컨드 조건이 해의 오차 기하급수적 감소를 위해 필수적임을 보여주며, 이는 선형 수렴 속도를 확보하기 위해 필수적임을 의미한다.
• 제한된 조건은 종종 전역 가정보다 더 작은 $R$ 와 더 큰 $\nu$ 를 제공하여 실질적으로 더 나은 복잡도 한계를 이룬다.
• 이 분석은 $R$ 를 사전에 알지 못해도 동일한 복잡도를 달성하는 백트래킹 선색색법을 가능하게 하며, 리스타트 및 스킵 기법을 통해 희소 최적화에서 더 빠른 알고리즘을 지원한다.