[논문 리뷰] Activity Identification and Local Linear Convergence of Forward--Backward-type methods

Jingwei Liang, Jalal Fadili외 1명|arXiv (Cornell University)|2015. 03. 12.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 6

한 줄 요약

이 논문은 비미분 가능한 볼록 최적화 문제에서 프론트워드-백워드 유형 알고리즘을 통합적으로 분석하기 위한 프레임워크를 제안하며, 활성 다양체(manifold)에 대한 국소적 선형 수렴과 유한한 활동 식별(finite activity identification)을 증명한다. 부분 미분가능성(부분 smoothness) 조건 하에서, 관성 항을 포함한 알고리즘(FISTA 포함)이 선형 수렴 속도보다 느리게 수렴하고 국소적 진동을 보일 수 있음을 규명한다. 이는 Lasso, 그룹 Lasso, 핵노름 최소화 문제에서 관측된 수치적 행동을 설명한다.

ABSTRACT

In this paper, we consider a class of Forward--Backward (FB) splitting methods that includes several variants (e.g. inertial schemes, FISTA) for minimizing the sum of two proper convex and lower semi-continuous functions, one of which has a Lipschitz continuous gradient, and the other is partly smooth relatively to a smooth active manifold $\mathcal{M}$. We propose a unified framework, under which we show that, this class of FB-type algorithms (i) correctly identifies the active manifolds in a finite number of iterations (finite activity identification), and (ii) then enters a local linear convergence regime, which we characterize precisely in terms of the structure of the underlying active manifolds. For simpler problems involving polyhedral functions, we show finite termination. We also establish and explain why FISTA (with convergent sequences) locally oscillates and can be slower than FB. These results may have numerous applications including in signal/image processing, sparse recovery and machine learning. Indeed, the obtained results explain the typical behaviour that has been observed numerically for many problems in these fields such as the Lasso, the group Lasso, the fused Lasso and the nuclear norm regularization to name only a few.

연구 동기 및 목표

• 표준 프론트워드-백워드 알고리즘과 관성 항이 포함된 변형(FISTA 포함)을 통합적으로 분석할 수 있는 공통 프레임워크를 제안한다.
• 부분 미분가능성 조건 하에서, 활성 다용체의 유한 시간 내 식별(유한한 활동 식별)이 가능함을 확립한다.
• 활성 다용체의 기하학적 성질에 따라 국소적 선형 수렴 속도를 정밀하게 기술한다.
• 왜 수렴하는 관성 매개변수를 가진 FISTA가 표준 프론트워드-백워드보다 국소적으로 진동하고 더 느리게 수렴하는지 설명하며, 오랫동안 미해결이었던 문제를 해결한다.

제안 방법

• 표준 프론트워드-백워드와 FISTA를 포함한 기존 알고리즘을 통합하는 일반화된 관성 프론트워드-백워드 알고리즘(iFB)을 제안하며, 매개변수 ak와 bk를 도입한다.
• 구조적 희박성과 저질서 구조를 모델링하기 위해, 부드러운 활성 다용체 M에 대한 부분 미분가능성 개념을 사용한다.
• 최소화점 x⋆ 주변에서 목적함수를 국소적으로 선형화하며, F의 이차 근사와 활성 다용체의 탄젠트 공간에 대한 투영을 활용한다.
• F의 헤시안과 활성 다용체의 탄젠트 공간에 대한 투영 연산자에 기반한 선형화된 반복 행렬 M을 유도한다.
• 리아푸노프 유사 분석과 반복 행렬의 고유값 분석을 통해 국소적 선형 수렴을 확립한다.
• 중간값 정리와 연산자 추정을 활용하여 오차 동역학을 유계화하고, 관성 매개변수 및 다용체 구조에 따라 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 부분 미분가능성 조건을 만족하는 문제에서, 프론트워드-백워드 유형 알고리즘이 몇 번의 반복 내에 활성 다용체를 식별할 수 있는가?
• RQ2 왜 수렴하는 관성 매개변수를 가진 FISTA가 표준 프론트워드-백워드보다 국소적으로 진동하고 더 느리게 수렴하는가?
• RQ3 관성 매개변수 ak와 bk는 국소 수렴 속도와 반복의 안정성에 어떻게 영향을 미치는가?
• RQ4 국소 선형 수렴 속도를 활성 다용체의 기하학적 성질과 F의 헤시안에 의해 정밀하게 기술할 수 있는가?
• RQ5 이 프레임워크 내에서 다각형 문제에 대해 유한한 종료 조건이 보장되는가?

주요 결과

• 제안된 iFB 알고리즘은 부분 미분가능성 조건을 만족하는 문제에서, 활성 다용체가 유한한 반복 수 내에 정확히 식별됨을 보였다.
• 활동 식별 이후, 반복점들은 국소적 선형 수렴 영역에 진입하며, 이 수렴 속도는 F의 헤시안과 활성 다용체의 탄젠트 공간에 기반한 행렬의 고유값에 의해 결정된다.
• 다각형 문제의 경우, 알고리즘이 유한한 단계 내에 수렴함을 보였다(유한한 종료).
• 수렴하는 관성 매개변수(예: ak = bk = k−1/k+q, q > 2)를 가진 FISTA는 선형화된 시스템에서 불안정한 고유값 동역학으로 인해 국소적으로 진동하고, 표준 프론트워드-백워드보다 더 느리게 수렴할 수 있다.
• 국소 수렴 속도는 반복 행렬 M의 스펙트럼 성질에 의해 정량적으로 기술되며, 이는 관성 매개변수와 다용체의 구조에 의존한다.
• 활성 다용체가 선형 부분공간이고, F의 헤시안이 정규 공간에서 양의 정부호일 경우, 수렴 속도는 관성 매개변수와 투영 연산자에 포함된 행렬의 스펙트럼 반경에 의해 결정된다.