[논문 리뷰] Accelerating Nesterov's Method for Strongly Convex Functions with Lipschitz Gradient

Xiangrui Meng, Hao Chen|arXiv (Cornell University)|2011. 09. 27.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 9

한 줄 요약

이 논문은 강凸 함수에 대해 리프시츠 연속 그라디언트를 가진 네스테로프 최적의 일阶 방법을 동적으로 단계 크기 파rameter $\alpha_k > \sqrt{\rho}$ 를 증가시켜 적응형 가속화하는 방법을 제안한다. 여기서 $\rho$ 는 조건 수의 역수이다. 이 방법은 각 반복에서 최대 두 번의 그라디언트 평가를 수행하며, 네스테로프의 원래 방법보다 실용적인 수렴 속도가 더 빠르며, 수치 결과에서는 스무딩 기반 품질 복원 문제에서 그라디언트 호출 수를 최대 2.5배 빠르게 한다.

ABSTRACT

We modify Nesterov's constant step gradient method for strongly convex functions with Lipschitz continuous gradient described in Nesterov's book. Nesterov shows that $f(x_k) - f^* \leq L \prod_{i=1}^k (1 - α_k) \| x_0 - x^* \|_2^2$ with $α_k = \sqrtρ$ for all $k$, where $L$ is the Lipschitz gradient constant and $ρ$ is the reciprocal condition number of $f(x)$. Hence the convergence rate is $1-\sqrtρ$. In this work, we try to accelerate Nesterov's method by adaptively searching for an $α_k > \sqrtρ$ at each iteration. The proposed method evaluates the gradient function at most twice per iteration and has some extra Level 1 BLAS operations. Theoretically, in the worst case, it takes the same number of iterations as Nesterov's method does but doubles the gradient calls. However, in practice, the proposed method effectively accelerates the speed of convergence for many problems including a smoothed basis pursuit denoising problem.

연구 동기 및 목표

• 강凸 함수에 대해 리프시츠 연속 그라디언트를 가진 네스테로프 최적의 일阶 방법의 실용적 수렴 속도를 향상시키는 것.
• 네스테로프 방법의 한계를 해결하기 위해 고정된 단계 크기 파arameter $\\alpha_k = \sqrt{\\rho}$ 를 사용함으로써 최악의 복잡도는 최적일지라도 실질적인 성능이 열악한 문제를 해결하는 것.
• 이론적 보장을 유지하면서도 적응형 단계 크기 선택을 통해 실증 성능을 향상시키는 실용적인 가속 전략을 개발하는 것.
• 수렴 속도와 안정성의 균형을 고려하여 $\alpha_k > \sqrt{\rho}$ 를 선택하는 데 사용되는 여러 히우리스틱 전략을 평가하고 비교하는 것.

제안 방법

• 이 방법은 $\alpha_k > \sqrt{\rho}$ 를 각 반복에서 允허함으로써 네스테로프의 원래 추정 수열 프레임워크를 수정한다. 이는 수렴 속도를 가속화한다.
• 각 반복에서 알고리즘은 추정 수열의 구조를 유지하면서도 $\alpha_k > \sqrt{\rho}$ 를 적응적으로 탐색하여 수렴이 유지되도록 한다.
• 이 방법은 각 반복에서 최대 두 번의 그라디언트 평가를 수행하며, 벡터 업데이트를 위한 추가적인 레벨 1 BLAS 연산을 포함한다.
• 네 가지 히우리스틱 전략이 $\alpha_k$ 선택을 위해 제안되었으며, 이는 보수적인, 공격적인, 그리고 선형 탐색 기반 접근 방식을 포함한다.
• x_k 와 y_k 의 업데이트 규칙은 네스테로프의 원래 방식을 그대로 따르며, 이는 방법의 이론적 기반을 유지하면서도 적응형 단계 크기를 가능하게 한다.
• 이 방법은 실생활의 희소 복원 작업을 평가하기 위해 스무딩 기반 품질 복원 문제에 적용된다.

실험 결과

연구 질문

• RQ1 네스테로프 방법에서 $\alpha_k > \sqrt{\rho}$ 를 적응형으로 선택하면, 이론적 수렴 보장을 훼손하지 않으면서도 실용적인 수렴 속도를 빠르게 할 수 있는가?
• RQ2 다양한 문제 유형에 걸쳐 $\alpha_k$ 를 선택하는 데 사용되는 다양한 히우리스틱 전략은 수렴 속도와 내성성 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법은 네스테로프의 원래 방법보다 주어진 정밀도에 도달하기 위해 필요한 그라디언트 평가 횟수를 줄일 수 있는가?
• RQ4 특히 공격적인 단계 크기 증가를 사용할 경우, 적응형 방법은 안정성을 유지하고 발산을 방지할 수 있는가?

주요 결과

• 제안된 방법 $\mathcal{N}_{\mu,L}^{\alpha}$ 는 네스테로프의 원래 방법 $\mathcal{N}_{\mu,L}$ 과 비교해 실질적인 수렴 속도가 더 빠르며, 스무딩 기반 품질 복원 문제에서 $f(x_k) - f^* < 10^{-12}$ 에 도달하기 위해 단 750회의 그라디언트 호출만을 요구한다.
• 네스테로프의 원래 방법 $\mathcal{N}_{\mu,L}$ 는 동일한 정밀도에 도달하기 위해 1300회의 그라디언트 호출을 필요로 했으며, 표준 그라디언트 하강법 $\mathcal{N}_L$ 은 1900회의 호출을 요구했다.
• $\mathcal{N}_{\mu,L}^{\alpha}$ 의 실행 시간은 약 5초였고, $\mathcal{N}_{\mu,L}$ 과 비교해 7.5초, $\mathcal{N}_L$ 과 비교해 11.5초였다.
• $\mathcal{N}_{\mu,L}^{\alpha}$ 의 네 가지 변종 중 첫 번째 히우리스틱($\mathcal{N}_{\mu,L}^{\alpha,1}$) 이 가장 보수적이었으며, 모든 테스트 문제에서 유사한 성능을 보였고, 따라서 추천 기본 설정으로 제안된다.
• 이 방법은 이론적 최악의 수렴 속도를 유지하지만, 적응형 단계 크기 선택 덕분에 네스테로프 방법보다 실질적으로 훨씬 뛰어난 성능을 보인다.
• $\mathcal{N}_{\mu,L}^{\alpha}$ 가 복원한 스무딩 BPDN 해는 진짜 희소 신호의 소프트 스레시홀딩 버전과 매우 유사했으며, 이는 희소 복원 작업에서 실용적인 유용성을 보여준다.