[논문 리뷰] Proximal Gradient Method with Extrapolation and Line Search for a Class of Nonconvex and Nonsmooth Problems

Lei Yang|arXiv (Cornell University)|2017. 11. 18.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 9

한 줄 요약

이 논문은 비볼록, 비연속, 비-Lipschitz 최적화 문제를 위한 보조적 경사하강법(PGels)을 제안한다. 특수한 잠재 함수를 활용하여 외삽과 선형 탐색을 통합함으로써 수렴성을 향상시키며, 정류점으로의 전역 부분수열 수렴을 보장하고, Kurdyka-Łojasiewicz 조건 하에서 국소 선형 수렴을 확립한다.

ABSTRACT

In this paper, we consider a class of possibly nonconvex, nonsmooth and non-Lipschitz optimization problems arising in many contemporary applications such as machine learning, variable selection and image processing. To solve this class of problems, we propose a proximal gradient method with extrapolation and line search (PGels). This method is developed based on a special potential function and successfully incorporates both extrapolation and non-monotone line search, which are two simple and efficient accelerating techniques for the proximal gradient method. Thanks to the line search, this method allows more flexibilities in choosing the extrapolation parameters and updates them adaptively at each iteration if a certain line search criterion is not satisfied. Moreover, with proper choices of parameters, our PGels reduces to many existing algorithms. We also show that, under some mild conditions, our line search criterion is well defined and any cluster point of the sequence generated by PGels is a stationary point of our problem. In addition, by assuming the Kurdyka-$Ł$ojasiewicz exponent of the objective in our problem, we further analyze the local convergence rate of two special cases of PGels, including the widely used non-monotone proximal gradient method as one case. Finally, we conduct some numerical experiments for solving the $\ell_1$ regularized logistic regression problem and the $\ell_{1 ext{-}2}$ regularized least squares problem. Our numerical results illustrate the efficiency of PGels and show the potential advantage of combining two accelerating techniques.

연구 동기 및 목표

• 비볼록, 비연속, 비-Lipschitz 복합 최적화 문제를 해결할 때 표준 보조적 경사하강법의 느린 수렴 문제를 해결한다.
• 외삽과 비단조선형 선형 탐색이라는 두 가지 가속 기법을 하나의 프레임워크에 통합하여 수렴 속도와 강건성을 향상시킨다.
• 목적 함수의 유계성과 연속성 등의 온건한 가정 하에 정류점으로의 전역 수렴을 보장한다.
• 특수한 경우인 비단조선형 보조적 경사하강법에 대해, Kurdyka-Łojasiewicz(KL) 조건 하에서 국소 수렴 속도를 분석한다.
• ℓ₁-정규화된 로지스틱 회귀와 ℓ₁₋₂-정규화된 최소 제곱 문제에 대한 수치 실험을 통해 두 가속 기법을 결합한 실용적 이점을 입증한다.

제안 방법

• 특수한 잠재 함수를 사용하여 외삽과 비단조선형 선형 탐색을 보조적 경사하강 프레임워크에 통합한 새로운 알고리즘 PGels를 제안한다.
• 충분한 감소 조건을 만족하지 못할 경우, 적응적으로 외삽 파라미터를 갱신하기 위해 선형 탐색 기준을 사용한다.
• 업데이트 단계는 보조 하위문제를 통해 정의된다: $\bm{x}^{k+1} \in \mathop{\mathrm{Argmin}}_{\bm{x}} \left\{ \langle \nabla f(\bm{y}^k), \bm{x} \rangle + \frac{\mu}{2} \|\bm{x} - \bm{y}^k\|^2 + P(\bm{x}) \right\}$, 여기서 $\bm{y}^k = \bm{x}^k + \beta_k(\bm{x}^k - \bm{x}^{k-1})$.
• 적은 조건 하에서도 선형 탐색 기준이 잘 정의되어 외삽 파라미터의 적응적 조정이 가능하다.
• PGels가 생성하는 수열이 유계이며 모든 클러스터 점이 문제의 정류점임을 증명함으로써 전역 부분수열 수렴을 확립한다.
• Kurdyka-Łojasiewicz(KL) 성질 하에서 국소 수렴 속도를 분석하여, 두 가지 특수한 경우(예: $δ=0$일 때의 NPG와 비단조선형 보조적 경사하강법)에서 국소 선형 수렴을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 외삽과 비단조선형 선형 탐색을 모두 갖춘 보조적 경사하강법이 비볼록, 비연속, 비-Lipschitz 문제에 대해 전역 수렴을 달성할 수 있는가?
• RQ2 PG 프레임워크에서 적응적 선형 탐색 메커니즘이 외삽 파라미터의 선택과 갱신에 어떤 영향을 미치는가?
• RQ3 PGels의 선형 탐색 기준은 어떤 조건에서 잘 정의되고 계산적으로 실현 가능한가?
• RQ4 Kurdyka-Łojasiewicz(KL) 성질 하에서 PGels의 국소 수렴 속도는 무엇이며, 기존 방법과 비교해 볼 때 어떻게 다른가?
• RQ5 외삽과 비단조선형 선형 탐색을 동시에 적용할 경우, 개별 가속 기법보다 우월한 경험적 성능을 보일 수 있는가?

주요 결과

• PGels에서 사용하는 선형 탐색 기준은 온건한 가정 하에 잘 정의되어 있어 알고리즘이 실패 없이 구현 가능하다.
• PGels가 생성하는 수열의 임의의 클러스터 점은 복합 최적화 문제 (1.1)의 정류점이며, 이는 전역 부분수열 수렴을 보장한다.
• 두 가지 특수한 경우—$δ=0$일 때의 PGels(NPG)와 비단조선형 보조적 경사하강법—에 대해 KL 성질과 지수 $\theta \in (0, 1/2]$ 하에서 국소 선형 수렴이 달성된다.
• $\ell_1$-정규화된 로지스틱 회귀와 $\ell_{1-2}$-정규화된 최소 제곱 문제에 대한 수치 실험 결과, PGels는 $\mathrm{pDCA}_e$를 능가하고 nmAPG와 유사한 성능을 보이며, 두 가속 기법을 통합한 것이 유리함을 입증한다.
• 비단조선형 선형 탐색은 외삽 파라미터 선택에 더 큰 유연성을 부여하고 강건성을 향상시키며, 실험 결과 PGels가 항상 NPG를 능가함으로써 이를 뒷받침한다.
• 특정 파라미터 설정 하에서 제안된 방법은 PG, PGe, NPG 등의 잘 알려진 알고리즘으로 간소화되며, 이는 그 일반성과 유연성을 확인한다.