[논문 리뷰] A unified convergence bound for conjugate gradient and accelerated gradient

Sahar Karimi, Stephen A. Vavasis|arXiv (Cornell University)|2016. 05. 01.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 공액 그래디언트(CG) 및 가속 그래디언트 방법에 대한 통합 수렴 분석을 제안하며, 두 알고리즘 모두에서 반복마다 $1/(1 + \sqrt{\ell/L})$의 비율로 감소하는 단일 잠재 함수를 도입한다. 주요 기여는 Krylov 부분공간 최적성에 기반한 간접 증명을 피하고 선형 공액 그래디언트의 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 수렴 속도에 대한 직접 증명을 제시하는 데 있다.

ABSTRACT

Nesterov's accelerated gradient method for minimizing a smooth strongly convex function $f$ is known to reduce $f(\x_k)-f(\x^*)$ by a factor of $\eps\in(0,1)$ after $k\ge O(\sqrt{L/\ell}\log(1/\eps))$ iterations, where $\ell,L$ are the two parameters of smooth strong convexity. Furthermore, it is known that this is the best possible complexity in the function-gradient oracle model of computation. The method of linear conjugate gradients (CG) also satisfies the same complexity bound in the special case of strongly convex quadratic functions, but in this special case it is faster than the accelerated gradient method. Despite similarities in the algorithms and their asymptotic convergence rates, the conventional analyses of the two methods are nearly disjoint. The purpose of this note is provide a single quantity that decreases on every step at the correct rate for both algorithms. Our unified bound is based on a potential similar to the potential in Nesterov's original analysis. As a side benefit of this analysis, we provide a direct proof that conjugate gradient converges in $O(\sqrt{L/\ell}\log(1/\eps))$ iterations. In contrast, the traditional indirect proof first establishes this result for the Chebyshev algorithm, and then relies on optimality of conjugate gradient to show that its iterates are at least as good as Chebyshev iterates. To the best of our knowledge, ours is the first direct proof of the convergence rate of linear conjugate gradient in the literature.

연구 동기 및 목표

• 공액 그래디언트 및 가속 그래디언트 방법의 수렴 분석을 단일 잠재 함수 아래 통합하기.
• Krylov 부분공간 최적성에 기반하지 않는 선형 공액 그래디언트의 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 수렴 속도에 대한 직접 증명 제공하기.
• 새로운 CG 변형에서 수렴을 실시간으로 모니터링할 수 있도록, 최적 속도로 단조 감소하는 측정 가능한 잠재 함수 도입하기.
• 가속 그래디언트의 수렴 성질을 유지하면서 비선형 문제에 대해서는 선형 CG로 축소되는 새로운 비선형 공액 그래디언트 방법의 개발 기반 마련하기.

제안 방법

• 해의 제곱 거리와 목적 함수 잔차를 조합한 잠재 함수 $\Psi_k$를 정의하며, 이는 $\ell/2$로 스케일링된다.
• 재귀 관계와 강凸성 성질을 이용해, CG 및 가속 그래디언트 모두에서 $\Psi_{k+1} \leq \Psi_k / (1 + \sqrt{\ell/L})$임을 증명한다.
• 업데이트 규칙을 분석하고, 매끄럽기 및 강凸성 매개수 $L$과 $\ell$을 활용하여 잠재 함수가 최적 속도로 감소함을 증명한다.
• 특히 $k=0$의 경우를 별도로 다루어 $\Psi_1 \leq \Psi_0$임을 보여 수렴을 시작한다.
• 잠재 함수의 감소를 이용해 두 알고리즘 모두에 대해 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 수렴 경계를 유도한다.
• 잠재 함수의 안정적인 감소를 모니터링함으로써, 새로운 CG 구현에서 근사성 부족(예: 반올림 오차)을 진단하는 데에 이 잠재 함수가 적합함을 보여준다.

실험 결과

연구 질문

• RQ1 공액 그래디언트 및 가속 그래디언트 방법 모두에서 최적 속도로 감소하는 단일 잠재 함수를 구성할 수 있는가?
• RQ2 Krylov 부분공간 최적성에 기반하지 않는 선형 공액 그래디언트의 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 수렴 속도에 대한 직접 증명이 가능한가?
• RQ3 이 통합된 잠재 함수는 수정된 또는 근사적인 공액 그래디언트 구현에서 수렴 문제를 진단하는 데 사용될 수 있는가?
• RQ4 이 통합 분석을 바탕으로 가속 그래디언트의 수렴 보장을 갖는 새로운 비선형 공액 그래디언트 방법을 설계할 수 있는가?

주요 결과

• 제안된 잠재 함수 $\Psi_k$는 공액 그래디언트 및 가속 그래디언트 방법 모두에서 반복마다 $1/(1 + \sqrt{\ell/L})$의 비율로 감소한다.
• Krylov 부분공간 최적성 또는 체비셰프 최적성에 간접적으로 의존하지 않는 선형 공액 그래디언트의 $O(\sqrt{L/\ell} \log(1/\epsilon))$ 수렴 속도에 대한 직접 증명이 확립되었다.
• 잠재 함수 $\Psi_k$는 $f(\mathbf{x}_k) - f(\mathbf{x}^*) \leq C_0 (1 + \sqrt{\ell/L})^{-(k-1)}$를 보장하며, 이는 가속 그래디언트의 알려진 최적 수렴 속도와 일치한다.
• 새로운 CG 알고리즘 테스트에서, 예상 속도로 감소하지 않는 경우가 관찰되면 근사성 부족 또는 불안정성을 경고하는 진단 도구로 잠재 함수를 활용할 수 있다.
• 이 분석은 비선형 문제에 대해서는 선형 CG로 축소되면서도 가속 그래디언트의 수렴 성질을 그대로 유지하는 새로운 비선형 CG 방법의 개발 기반을 제공한다.