[논문 리뷰] Activity Identification and Local Linear Convergence of Inertial Forward-Backward Splitting

Jingwei Liang, Jalal Fadili외 1명|arXiv (Cornell University)|2015. 03. 12.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 3

한 줄 요약

이 논문은 복합 볼록 함수를 최소화하기 위한 관성 Forward-Backward (iFB) 분할 알고리즘에 대한 통합 분석을 제안한다. 여기서 한 성분은 리프시츠 미분 가능하고, 다른 성분은 활성 다양체 𝒩에 대해 부분 평탄하다. 유한한 활성 다각형 식별과 국소 선형 수렴을 확립하여 Lasso, 그룹 Lasso, 전체 변동 최소화 문제와 같은 문제에서 관측된 수치적 행동에 대한 이론적 근거를 제공한다.

ABSTRACT

We consider the class of inertial Forward--Backward (iFB) proximal splitting algorithms, to minimize the sum of two proper lower semi-continuous convex functions, one of which having a Lipschitz continuous gradient and the other being partly smooth relative to an active manifold $\mathcal{M}$. Special cases of this class include the FB and, for an appropriate choice of the inertial parameter, FISTA-like schemes. We propose a unified analysis, under which we show that iFB-type splitting, (i) correctly identifies the active manifold $\mathcal{M}$ in a finite number of iterations, and then (ii) enters a local (linear) convergence regime, which is characterised precisely. This gives a grounded justification to the typical behaviour that has been observed numerically for many problems encompassed in our framework, including the Lasso, the group Lasso, total variation minimization and the nuclear norm regularization to name a few. These results may have numerous applications including in signal/image processing processing and machine learning.

연구 동기 및 목표

• 관성 Forward-Backward 분할의 복합 볼록 최적화 문제에 대한 통합 이론적 프레임워크를 제공하는 것.
• 실제로 흔히 관측되는 iFB 유형 알고리즘에서 활성 다각형의 유한한 식별 원리를 설명하는 것.
• 부분 평탄성과 리프시츠 기울기 가정 하에 활성 다각형 식별 이후 iFB 방법의 국소 선형 수렴을 확립하는 것.
• Lasso, 그룹 Lasso, 핵 노름 정규화와 같은 문제에서 FISTA 유사 방법과 관성 방법의 경험적 성공을 정당화하는 것.
• 활성 다각형 식별 이후 국소 수렴 영역을 정확하게 기술하는 것.

제안 방법

• 분석은 활성 다각형 𝒩에 대해 부분 평탄성을 고려한 개념을 활용하여 문제 기하학의 구조적 기술을 가능하게 한다.
• 방법은 적응형 관성 파ameter를 사용하는 관성 전진-후진 분할 방법을 적용하여 표준 FISTA 및 FB 방법을 일반화한다.
• 반복 점의 궤적을 분석하고, 궤적이 결국 활성 다각형의 이웃 영역에 진입하여 그 안에 머무르게 됨을 보여줌으로써, 유한한 활성 다각형 식별을 증명한다.
• 오차 유계 성질과 부분 평탄성 구조를 활용하여 국소 선형 수렴을 확립하며, 식별 이후 수렴 속도가 선형이 됨을 도출한다.
• 분석은 변분 해석학과 단조 연산자 이론의 도구에 의존하며, 특히 프락시멀 연산자와 기울기 매핑의 성질을 활용한다.
• 프레임워크는 Lasso, 그룹 Lasso, 전체 변동, 낮은 질량 행렬 복원과 같은 잘 알려진 문제들을 특수 케이스로 포함할 수 있을 정도로 일반적이다.

실험 결과

연구 질문

• RQ1 부분 평탄한 복합 문제에 대해 관성 Forward-Backward 분할 알고리즘이 유한한 반복 수 안에 정확한 활성 다각형을 식별할 수 있는가?
• RQ2 활성 다각형 식별 이후 iFB 방법의 국소 선형 수렴을 보장하는 조건은 무엇인가?
• RQ3 관성 파ameter는 iFB 방법의 수렴 행동과 다각형 식별에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 FISTA 유사 방법과 표준 FB 방법의 분석을 어느 정도 통합하는가?
• RQ5 이론적 수렴 성질은 Lasso 및 핵 노름 최소화 문제에서 관측된 수치적 성능을 설명할 수 있는가?

주요 결과

• 제시된 가정 하에 iFB 알고리즘이 유한한 반복 수 안에 활성 다각형 𝒩을 식별한다.
• 활성 다각형 식별 이후 반복 점은 국소적으로 선형 수렴을 보이며, 이 수렴 속도는 다각형 상의 곡률과 문제의 조건수에 따라 달라진다.
• 오차 유계 성질과 부분 평탄성 구조를 통해 수렴 속도가 정확히 기술된다.
• 프레임워크는 FISTA와 표준 FB 방법의 분석을 통합하여, 관성 파ameter가 적절히 선택될 경우 두 방법이 동일한 수렴 영역에 속한다는 것을 보여준다.
• 결과는 Lasso, 그룹 Lasso, 전체 변동 최소화 문제에서 관측된 빠른 수렴 현상에 대한 이론적 근거를 제공한다.
• 분석은 희소성 및 낮은 질량 최적화 문제를 포함한 광범위한 문제 클래스에 적용 가능하며, 신호 및 영상 처리, 기계 학습 분야에서 iFB 유사 방법의 강건성을 확인한다.