[논문 리뷰] On the Q-linear convergence of forward-backward splitting method and uniqueness of optimal solution to Lasso

Yunier Bello-Cruz, G. Li외 1명|arXiv (Cornell University)|2018. 06. 17.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 전방-역방향 분할 방법의 Q-선형 수렴성을 증명하며, 부드러운 부분의 그래디언트가 전역 리프시츠 연속성을 갖지 않아도 된다는 조건 하에 볼록 비스무스 최적화 문제에 대해 성립한다. 또한, 제2차 변동해석학과 메트릭 하위정규성의 도구를 활용하여 라소 문제에서 최적 해의 유일성에 대한 새로운 검증 가능한 특성들을 제시한다.

ABSTRACT

In this paper, by using tools of second-order variational analysis, we study the popular forward-backward splitting method with Beck-Teboulle's line-search for solving convex optimization problem where the objective function can be split into the sum of a differentiable function and a possible nonsmooth function. We first establish that this method exhibits global convergence to an optimal solution of the problem (if it exists) without the usual assumption that the gradient of the differentiable function involved is globally Lipschitz continuous. We also obtain the $o(k^{-1})$ complexity for the functional value sequence when this usual assumption is weaken from global Lipschitz continuity to local Lipschitz continuity, improving the existing $\mathcal{O}(k^{-1})$ complexity result. We then derive the local and global Q-linear convergence of the method in terms of both the function value sequence and the iterative sequence, under a general metric subregularity assumption which is automatically satisfied for convex piecewise-linear-quadratic optimization problems. In particular, we provide verifiable sufficient conditions for metric subregularity assumptions, and so, local and global Q-linear convergence of the proposed method for broad structured optimization problems arise in machine learning and signal processing including Poisson linear inverse problem, the partly smooth optimization problems, as well as the $\ell_1$-regularized optimization problems. Our results complement the current literature by providing $Q$-linear convergence result to the forward-backward splitting method under weaker assumptions. Moreover, via this approach, we obtain several full characterizations for the uniqueness of optimal solution to Lasso problem, which covers some recent results in this direction.

연구 동기 및 목표

• 더 약한 그래디언트 연속성 가정 하에서 전방-역방향 분할 방법의 전역 수렴성과 향상된 반복 복잡도를 확립하기 위해.
• 서브디퍼렌셜의 메트릭 하위정규성에 기반하여 반복 수열과 목적함수 값 수열의 Q-선형 수렴성을 도출하기 위해.
• 기계학습 및 신호 처리에서 흔한 구조적 문제들에 대해 선형 수렴의 새로운 검증 가능한 충분조건을 제공하기 위해.
• 라소 문제의 최적 해의 유일성에 대한 완전한 특성화를 제시하기 위해.
• 포아송 역문제 및 노름-정규화된 문제를 포함한 더 넓은 최적화 문제 클래스로 분석를 확장하기 위해.

제안 방법

• 전역 리프시츠 연속성을 요구하지 않도록 베크-테불레의 선 탐색 전략을 사용한다.
• 제2차 변동해석학 도구를 적용하여 서브디퍼렌셜의 메트릭 하위정규성과 제2차 성장 조건을 분석한다.
• 일반적인 메트릭 하위정규성 가정 하에서 Q-선형 수렴성을 확립하며, 이는 볼록 조각별 선형-이차 문제에 대해 자동으로 성립한다.
• 라소, 포아송 역문제, 부분적으로 스무스한 최적화 문제와 같은 구조적 문제들에서 메트릭 하위정규성의 검증 가능한 조건을 유도한다.
• 전방-역방향 반복에 프록시 연산자를 활용한다: $ x^{k+1} = \text{prox}_{\alpha_k g}(x^k - \alpha_k \nabla f(x^k)) $, 적응형 스텝 사이즈 선택을 수행한다.
• 라소 해의 유일성과 서브디퍼렌셜의 메트릭 하위정규성 및 제2차 성장 조건 간의 연결을 통해 새로운 특성화를 이끌어낸다.

실험 결과

연구 질문

• RQ1 베이크-테불레의 선 탐색 전략을 사용하는 전방-역방향 분할 방법이 전역 리프시츠 연속성을 가정하지 않고 전역 수렴성을 보장하는 조건은 무엇인가?
• RQ2 해당 그래디언트가 국소 리프시츠 연속성만을 갖는 경우, 반복 복잡도를 $ o(k^{-1}) $ 수준으로 향상시킬 수 있는가?
• RQ3 함수 값과 반복 수열 양쪽 모두에 대해 전방-역방향 방법의 Q-선형 수렴성을 보장하는 조건는 무엇인가?
• RQ4 변동해석학을 통해 라소 문제의 최적 해의 유일성을 완전히 특성화할 수 있는가?
• RQ5 서브디퍼렌셜의 메트릭 하위정규성과 라소 해의 유일성 간의 관계는 무엇인가?

주요 결과

• 베이크-테불레의 선 탐색 전략을 사용하는 전방-역방향 분할 방법은 부드러운 부분의 그래디언트가 전역 리프시츠 연속성을 갖지 않아도 최적 해로 전역 수렴한다.
• 그래디언트가 국소 리프시츠 연속성만을 갖는 경우, 목적함수 값 수열은 표준적인 $ \mathcal{O}(k^{-1}) $ 복잡도보다 향상된 $ o(k^{-1}) $ 속도로 수렴한다.
• 일반적인 메트릭 하위정규성 가정 하에서 목적함수 값 수열과 반복 수열 양쪽 모두에 대해 Q-선형 수렴성이 확립되며, 이는 볼록 조각별 선형-이차 문제에 대해 자동으로 성립한다.
• 메트릭 하위정규성에 대한 검증 가능한 충분조건가 유도되어, 라소, 포아송 역문제, 부분적으로 스무스한 최적화 문제를 포함한 광범위한 문제 클래스에서 Q-선형 수렴이 가능하다.
• 논문은 라소 문제의 최적 해의 유일성에 대해 다수의 새로운 완전한 특성화를 제공하며, 최근 결과들을 확장하고 통합한다.
• 제2차 변동해석학을 통한 접근는 라소 해의 유일성이 해에서의 서브디퍼렌셜의 강한 메트릭 하위정규성과 동치임을 드러내며, 더 깊은 이론적 이해를 제공한다.