[논문 리뷰] A single potential governing convergence of conjugate gradient, accelerated gradient and geometric descent

Sahar Karimi, Stephen A. Vavasis|arXiv (Cornell University)|2017. 12. 27.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 9

한 줄 요약

이 논문은 공역 함수가 매 반복마다 최소 $1 - √{\ell/L}$의 비율로 감소하는 단일이고 계산 가능한 잠재 함수를 식별하여, 공역 기반(Conjugate Gradient, CG), 가속 기반(accelerated gradient, AG), 기하학적 내림(geometric descent, GD) 방법의 통합 수렴 분석을 제안한다. 이 잠재 함수는 세 알고리즘의 수렴을 모두 지배하며, 이는 이차 함수 설정에서 CG의 효율성을 유지하면서도 일반적인 매끄럽고 강력한 볼록 함수에 대해 최적의 $O(\sqrt{L/\ell}\log(1/\epsilon))$ 반복 복잡도를 달성하는 하이브리드 알고리즘(HyNCG)을 가능하게 한다.

ABSTRACT

Nesterov's accelerated gradient (AG) method for minimizing a smooth strongly convex function $f$ is known to reduce $f({\bf x}_k)-f({\bf x}^*)$ by a factor of $ε\in(0,1)$ after $k=O(\sqrt{L/\ell}\log(1/ε))$ iterations, where $\ell,L$ are the two parameters of smooth strong convexity. Furthermore, it is known that this is the best possible complexity in the function-gradient oracle model of computation. Modulo a line search, the geometric descent (GD) method of Bubeck, Lee and Singh has the same bound for this class of functions. The method of linear conjugate gradients (CG) also satisfies the same complexity bound in the special case of strongly convex quadratic functions, but in this special case it can be faster than the AG and GD methods. Despite similarities in the algorithms and their asymptotic convergence rates, the conventional analysis of the running time of CG is mostly disjoint from that of AG and GD. The analyses of the AG and GD methods are also rather distinct. Our main result is analyses of the three methods that share several common threads: all three analyses show a relationship to a certain "idealized algorithm", all three establish the convergence rate through the use of the Bubeck-Lee-Singh geometric lemma, and all three have the same potential that is computable at run-time and exhibits decrease by a factor of $1-\sqrt{\ell/L}$ or better per iteration. One application of these analyses is that they open the possibility of hybrid or intermediate algorithms. One such algorithm is proposed herein and is shown to perform well in computational tests.

연구 동기 및 목표

• 공역 기반(CG), 가속 기반(AG), 기하학적 내림(GD)이라는 세 가지 주요 일阶 방법의 수렴 분석을 통합하기 위해.
• 모든 세 알고리즘에 공통적으로 적용 가능한 실행 시간에 계산 가능한 잠재 함수를 식별하기 위해.
• 세 알고리즘이 동일한 기하학적 보조정리와 잠재 함수를 기반으로 동일한 최적의 반복 복잡도 $O(\sqrt{L/\ell}\log(1/\epsilon))$ 를 달성함을 보여주기 위해.
• CG의 이차 함수 설정에서의 효율성과 AG/GD의 최적 복잡도를 모두 갖는 하이브리드 알고리즘 설계를 가능하게 하여, $\ell$와 $L$의 사전 지식 없이도 최적의 복잡도를 달성하기 위해.
• 잠재 함수 감소 기반의 스텝 선택 방식을 통해 새로운 하이브리드 알고리즘(HyNCG)의 이론적 및 실증적 타당성을 제시하기 위해.

제안 방법

• 최적해와의 거리와 함수 갭을 모두 제한하는 공통 잠재 함수 $\tilde{\sigma}_k^2$ 를 제안하며, 이는 $\tilde{\sigma}_k^2 \geq \|\bm{y}_k - \bm{x}^*\|^2 + \frac{2(f(\bm{x}_k) - f(\bm{x}^*))}{\ell}$ 를 만족한다.
• Bubeck-Lee-Singh 기하학적 보조정리를 사용하여 $\tilde{\sigma}_{k+1}^2 \leq \left(1 - \sqrt{\ell/L}\right)\tilde{\sigma}_k^2$ 를 확립함으로써, 최적 속도로 전역 수렴을 보장한다.
• CG, AG, GD의 수렴 분석에 대한 기준이 되는 실제 구현이 불가능한 이상화된 알고리즘을 정의한다.
• 각 반복에서 CG와 GD 스텝을 모두 계산하고, 잠재 함수 $\tilde{\sigma}_k$ 를 가장 크게 감소시키는 스텝을 선택함으로써, 비용이 많이 드는 선형 탐색을 피하는 하이브리드 알고리즘(HyNCG)을 설계한다.
• 합성 문제에 대해 HyNCG를 구현하고, AG, GD, NCG와 비교하며, 기울기 노름이나 함수 값 대신 잠재 함수를 선택 기준으로 사용한다.
• GD와 HyNCG에서는 정확한 선형 탐색을 사용하고, AG는 외부 반복을 사용하며, 내부 선형 탐색 단계를 포함한 총 반복 수를 보고한다.

실험 결과

연구 질문

• RQ1 매끄럽고 강력한 볼록 함수에 대해, 실행 시간에 계산 가능한 단일 잠재 함수가 CG, AG, GD 방법의 수렴을 설명할 수 있는가?
• RQ2 CG, AG, GD가 동일한 기하학적 보조정리와 잠재 함수를 통해 동일한 최적의 반복 복잡도 $O(\sqrt{L/\ell}\log(1/\epsilon))$ 를 달성하는가?
• RQ3 이차 문제에서의 CG 효율성을 유지하면서도 일반 케이스에서 AG와 GD의 최적 복잡도를 유지하는 하이브리드 알고리즘을 설계할 수 있는가?
• RQ4 실제로 잠재 함수 감소 기반의 스텝 선택이 기울기 노름 또는 함수 값 기반 선택보다 성능이 뛰어나게 되는가?
• RQ5 HL 테스트 세트에서 GD와 AG의 반복 수가 $\lambda$에 대해 거의 변하지 않는 이유는 무엇이며, AG의 비용은 왜 $\lambda$ 감소에 따라 증가하는가?

주요 결과

• 단일 잠재 함수 $\tilde{\sigma}_k^2$ 가 CG, AG, GD의 수렴을 지배하며, 매 반복마다 $\tilde{\sigma}_{k+1}^2 \leq \left(1 - \sqrt{\ell/L}\right)\tilde{\sigma}_k^2$ 를 만족한다.
• 잠재 함수 감소 기반의 선택 방식을 채택한 하이브리드 알고리즘(HyNCG)은 모든 테스트 케이스에서 AG와 GD를 모두 능가하며, 종종 2배 이상의 성능 향상을 보였다.
• ABPDN 문제($n=262144$)에서 HyNCG는 123회의 반복만으로도 충분했고, AG는 34,758회, NCG는 488회를 기록하여 뛰어난 효율성을 입증했다.
• HL 테스트 세트에서 HyNCG는 $\lambda$에 관계없이 항상 37~44회의 반복만을 필요로 하였고, AG의 비용은 $\lambda$ 감소에 따라 크게 증가하였다. 이는 뛰어난 안정성을 보여준다.
• 기울기 노름(HyNCG/gr) 및 함수 값(HyNCG/f) 기반의 하이브리드보다 잠재 함수 기반의 하이브리드(HyNCG)가 우월하며, 일부 케이스에서는 후자에 비해 최대 250,000회의 반복이 필요로 할 정도로 성능이 열 劣하다.
• 잠재 함수 기반 선택은 대체 스텝을 평가할 필요가 없어, HyNCG/gr 및 HyNCG/f와 달리 각 반복에서 두 번의 평가가 필요로 하지 않아 더 효율적이다.