[논문 리뷰] Local Linear Convergence of Forward-Backward under Partial Smoothness

Jingwei Liang, Jalal Fadili외 1명|arXiv (Cornell University)|2014. 07. 21.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 42

한 줄 요약

이 논문은 복합 볼록 최적화 문제에서 정규화 항이 활성 다양체에 대해 부분적으로 미분 가능할 때 포워드-백워드 알고리즘의 국소 선형 수렴을 확립한다. 활성 다각체의 유한한 식별성과 다각체 구조에 따라 국소 R-선형 또는 Q-선형 수렴 속도의 정확한 특성화를 입증하며, Lasso, 그룹 Lasso, 융합 Lasso 및 노르름 문제의 수렴 행동을 통합한다.

ABSTRACT

In this paper, we consider the Forward--Backward proximal splitting algorithm to minimize the sum of two proper convex functions, one of which having a Lipschitz continuous gradient and the other being partly smooth relative to an active manifold $\mathcal{M}$. We propose a generic framework under which we show that the Forward--Backward (i) correctly identifies the active manifold $\mathcal{M}$ in a finite number of iterations, and then (ii) enters a local linear convergence regime that we characterize precisely. This gives a grounded and unified explanation to the typical behaviour that has been observed numerically for many problems encompassed in our framework, including the Lasso, the group Lasso, the fused Lasso and the nuclear norm regularization to name a few. These results may have numerous applications including in signal/image processing processing, sparse recovery and machine learning.

연구 동기 및 목표

• Lasso, 그룹 Lasso, 융합 Lasso, 저질 랭크 행렬 복원과 같은 문제에서 관찰된 경험적 빠른 국소 수렴에 대한 통합 이론적 설명을 제공하기 위해.
• 정규화 항이 다각체 M에 대해 부분적으로 미분 가능할 때 포워드-백워드 방법의 활성 다각체에 대한 유한한 식별성을 확립하기 위해.
• 식별 이후의 국소 수렴 속도를 특성화하여, 다각체 구조에 따라 R-선형 또는 Q-선형 수렴을 보여주기 위해.
• 강한 볼록성 또는 정규화 항의 분해 가능성과 같은 제약 조건을 제거하여 기존 국소 수렴 결과를 확장하기 위해.
• 신호 처리, 머신러닝 및 영상 분야에서 널리 적용 가능한 비미분 가능 볼록 최적화 문제의 일반적 프레임워크를 제공하기 위해.

제안 방법

• 분석은 정규화 항 J가 해 x*에서 다각체 M에 대해 부분적으로 미분 가능할 때의 개념에 기반한다.
• 부분 미분 가능성 하에서 내림차순 성질과 프록시멀 연산자의 구조를 이용해 활성 다각체 M의 유한한 식별성을 입증한다.
• 식별 이후, 모든 k ≥ K에 대해 반복값 xk가 M에 속하게 되며, 이는 다각체 M의 탄성공간 T에서의 국소 선형 수렴 분석을 가능하게 한다.
• 수렴 속도는 F의 헤시안 행렬을 T에 제한한 경우의 스펙트럼 성질을 분석함으로써 유도되며, A_T의 최소 및 최대 특이값을 포함한 수축 인자로 표현된다.
• 표준 포워드-백워드 업데이트를 사용한다: x_{k+1} = prox_{γ_k J}(x_k - γ_k ∇F(x_k)), 단 단계 크기 γ_k는 (0, 2/β) 범위에 제한된다.
• 핵심 도구로는 해에서의 비퇴도성 및 국소 강한 볼록성 가정을 사용하여 유일성 보장과 수렴 속도 특성화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 포워드-백워드 알고리즘이 부분적으로 미분 가능한 정규화 항의 활성 다각체를 유한한 반복 수 내에서 식별할 조건은 무엇인가?
• RQ2 활성 다각체 식별 이후 포워드-백워드 반복값의 정확한 국소 수렴 속도는 무엇인가?
• RQ3 활성 다각체의 구조(예: 선형 부분공간 대 비선형 다각체)는 수렴 속도에 어떤 영향을 미치는가?
• RQ4 정규화 항의 분해 가능성 조건을 초월하여, 총 변동량이나 ℓ∞-노름과 같은 더 넓은 클래스로 수렴 결과를 일반화할 수 있는가?
• RQ5 부분 미분 가능성 조건 하에서 해의 유일성과 국소 선형 수렴을 보장하는 조건는 무엇인가?

주요 결과

• 포워드-백워드 알고리즘은 부분적으로 미분 가능한 정규화 항과 관련된 활성 다각체 M을 유한한 반복 수 내에서 식별하며, 이는 유한한 수의 반복 후 모든 k ≥ K에 대해 x_k ∈ M가 되는 것을 의미한다.
• 식별 이후 반복값은 해 x*로 Q-선형 수렴을 보이며, 수렴 속도는 ρ = max{ℓ(γ̲), ℓ(γ̄})로 표현되며, 여기서 ℓ(γ) = max{|1 - γσ_m|, |1 - γσ_M|}이다.
• 활성 다각체 M이 선형 부분공간일 경우, 수렴은 R-선형이 되며, 최적 수렴 속도는 ρ* = (σ_M - σ_m)/(σ_M + σ_m) = (φ - 1)/(φ + 1)로 주어지며, 여기서 φ = σ_M/σ_m이다.
• 수렴 속도는 다각체 M의 탄성공간 T에 제한된 F의 헤시안 행렬의 조건수에 따라 달라지며, 조건수가 좋은 문제일수록 더 빠른 수렴을 보인다.
• 기존 연구에서 분해 가능성 조건이 필요로 했던 문제들에 비해, 총 변동량과 ℓ∞-노름과 같은 비분해형 정규화 항을 포함한 문제들에 대해서도 결과가 적용 가능하다.
• 비퇴도성 및 국소 강한 볼록성 가정 하에서 해의 유일성이 보장되며, 이는 수렴 분석이 잘 정의된 최소화자에 대해 적용 가능함을 보장한다.