[논문 리뷰] Local and Global Convergence of an Inertial Version of Forward-Backward Splitting

Patrick R. Johnstone, Pierre Moulin|arXiv (Cornell University)|2015. 02. 08.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 볼록 복합 최적화를 위한 관성 전진-후진 분할(I-FBS) 알고리즘을 분석하며, 희소 최적화 문제에 대해 전역 약한 수렴성과 국소 선형 수렴성을 증명한다. 국소 수렴성을 최적화하기 위한 운동량 매개변수를 규명하고, FISTA의 전역 $O(1/k^2)$ 수렴 속도를 유지하면서도 최적의 국소 수렴성을 달성하는 실용적인 적응형 방법(FISTA-AdOPT)을 제안한다. 이는 후반 단계에서 표준 FISTA보다 뛰어난 성능을 보인다.

ABSTRACT

A problem of great interest in optimization is to minimize a sum of two closed, proper, and convex functions where one is smooth and the other has a computationally inexpensive proximal operator. In this paper we analyze a family of Inertial Forward-Backward Splitting (I-FBS) algorithms for solving this problem. We first apply a global Lyapunov analysis to I-FBS and prove weak convergence of the iterates to a minimizer in a real Hilbert space. We then show that the algorithms achieve local linear convergence for "sparse optimization", which is the important special case where the nonsmooth term is the $\ell_1$-norm. This result holds under either a restricted strong convexity or a strict complimentary condition and we do not require the objective to be strictly convex. For certain parameter choices we determine an upper bound on the number of iterations until the iterates are confined on a manifold containing the solution set and linear convergence holds. The local linear convergence result for sparse optimization holds for the Fast Iterative Shrinkage and Soft Thresholding Algorithm (FISTA) due to Beck and Teboulle which is a particular parameter choice for I-FBS. In spite of its optimal global objective function convergence rate, we show that FISTA is not optimal for sparse optimization with respect to the local convergence rate. We determine the locally optimal parameter choice for the I-FBS family. Finally we propose a method which inherits the excellent global rate of FISTA but also has excellent local rate.

연구 동기 및 목표

• 부드럽고 비부드러운 볼록 함수의 합을 최소화하기 위한 관성 전진-후진 분할(I-FBS) 알고리즘의 수렴 성질을 분석하는 것.
• 운동량 및 스텝 사이즈 매개변수에 대한 일반 조건 하에서 I-FBS의 전역 약한 수렴성을 확립하는 것.
• 전체 목적 함수가 стрictly convex일 필요 없이도, $ρ\|x\|_1$ 정규화 문제에 대해 국소 선형 수렴성을 증명하는 것.
• 국소 수렴 속도를 최대화하는 데 최적의 운동량 매개변수 선택을 규명하는 것.
• FISTA의 전역 $O(1/k^2)$ 수렴성과 최적의 국소 선형 수렴성을 동시에 확보하는 실용적인 알고리즘을 개발하는 것.

제안 방법

• 실 힐버트 공간에서 I-FBS 반복값이 최소화자로의 약한 수렴성을 보장하기 위해 전역 리아푸노프 분석을 사용한다.
• 리아푸노프 기법을 적용하여 $ρ\|x\|_1$-정규화 문제에서 I-FBS가 국소 선형 수렴을 달성할 조건을 유도한다.
• 활동 집합 $E$에서 $A_E^T A_E$의 최소 고유값을 통해 국소적으로 최적의 운동량 매개변수를 유도한다.
• Beck와 Teboulle의 FISTA 매개변수에서 국소적으로 최적의 I-FBS 매개변수로 전환하는 실용적 알고리즘인 FISTA-AdOPT을 제안한다. 이는 목적 함수 값이 증가하기 시작할 때 작동한다.
• 실제로는 현재 반복값의 지지집합을 진짜 활동 집합 $E$의 대체로 사용하여 최적의 운동량을 추정한다.
• 해결책 다양체에 도달했음을 알리는 $F(x^k) > F(x^{k-1})$ 조건이 충족될 경우 재시작 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 관성 전진-후진 분할 방법이 일반적인 운동량 및 스텝 사이즈 조건 하에서 전역 약한 수렴성을 달성할 수 있는가?
• RQ2 전체 목적 함수가 엄격히 볼록일 필요 없이도, 희소 최적화 문제에 대해 국소 선형 수렴성을 확립할 수 있는가?
• RQ3 희소 최적화에서 국소 수렴 속도를 최대화하는 데 최적의 운동량 매개변수 선택은 무엇인가?
• RQ4 FISTA의 전역 $O(1/k^2)$ 수렴성과 최적의 국소 선형 수렴 속도를 모두 확보하는 실용적인 알고리즘을 설계할 수 있는가?
• RQ5 FISTA-AdOPT의 성능은 반복 복잡도와 진동 행동 측면에서 FISTA 및 적응형 재시작 변형과 비교해 어떻게 되는가?

주요 결과

• I-FBS 알고리즘은 $0 \leq \alpha_k \leq 1$ 및 $\limsup \alpha_k < 1$ 조건 하에서, $0 < \lambda_k \leq 1/L$를 만족하는 스텝 사이즈 조건 하에서 전역 약한 수렴성을 확보한다.
• 희소 최적화의 경우, 제약 강한 볼록성 또는 엄격한 보완 조건이 성립할 경우, 전역 강한 볼록성이 없더라도 I-FBS는 국소 선형 수렴성을 달성한다.
• 국소적으로 최적의 운동량 매개변수는 $\alpha_{\text{opt}} = \frac{1 - \sqrt{l_E / L}}{1 + \sqrt{l_E / L}}$로 유도되며, 여기서 $l_E$는 활동 집합 $E$에서 $A_E^T A_E$의 최소 고유값이다.
• FISTA는 국소 수렴 속도 측면에서 희소 최적화에 대해 최적이 아니며, 전역 $O(1/k^2)$ 목적 함수 수렴성은 최적이지만 국소 수렴 속도는 그렇지 않다.
• FISTA-AdOPT는 최적의 渐近 반복 복잡도를 달성하며, 정리 8에서 유도된 이론적 하한값과 일치하고, FISTA-AdRe에서 관찰되는 진동 현상을 피한다.
• 수치 실험 결과, FISTA-AdOPT와 FISTA-AdRe 모두 FISTA의 전역 $O(1/k^2)$ 수렴 속도를 유지하면서 최적의 국소 수렴성을 달성하며, 적응 후 고정된 운동량 덕분에 FISTA-AdOPT가 더 안정적임을 보였다.