[논문 리뷰] A Multi-step Inertial Forward--Backward Splitting Method for Non-convex Optimization

Jingwei Liang, Jalal Fadili외 1명|arXiv (Cornell University)|2016. 06. 07.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 12

한 줄 요약

이 논문은 리프시츠 연속 기울기를 갖는 미분 가능 함수와 하부연속 함수의 합으로 이루어진 비볼록, 비미분 가능 최적화 문제를 위한 다단계 관성 전진-후진 분할 방법을 제안한다. 이는 쿠르디카–로자셰프스키 성질 하에서 전역 수렴을 확립하고, 비미분 성분이 부분적으로 미분 가능할 경우 유한한 활성 다양체 식별과 함께 날카운 국소 선형 수렴 속도를 제공한다.

ABSTRACT

In this paper, we propose a multi-step inertial Forward--Backward splitting algorithm for minimizing the sum of two non-necessarily convex functions, one of which is proper lower semi-continuous while the other is differentiable with a Lipschitz continuous gradient. We first prove global convergence of the scheme with the help of the Kurdyka-Łojasiewicz property. Then, when the non-smooth part is also partly smooth relative to a smooth submanifold, we establish finite identification of the latter and provide sharp local linear convergence analysis. The proposed method is illustrated on a few problems arising from statistics and machine learning.

연구 동기 및 목표

• 비볼록 비미분 가능 최적화 환경에서 관성 방법에 대한 수렴 보장의 부족을 해결한다.
• 음수 관성 파rameter와 더 높은 메모리 가능성을 허용하는 유연한 다단계 관성 계획을 개발한다.
• 쿠르디카–로자셰프스키 성질 하에서 반복값이 임계점으로 전역 수렴함을 확립한다.
• 비미분 성분이 부분적으로 다양체에 대해 미분 가능할 경우 국소 수렴 거동을 조사한다.
• 정확한 국소 선형 수렴 속도를 제공하고, 활성 다량체가 수렴 속도에 미치는 역할을 규명한다.

제안 방법

• 과거 반복값과 관성 파ram터를 사용하는 다단계 관성 전진-후진(MiFB) 알고리즘을 제안한다.
• 두 개의 외삽 단계를 도입한다: $ y^{a,k} = x^k + \sum_{i\in I} a_{i,k}(x^{k-i} - x^{k-i-1}) $ 및 $ y^{b,k} = x^k + \sum_{i\in I} b_{i,k}(x^{k-i} - x^{k-i-1}) $, 여기서 $ a_{i,k}, b_{i,k} \in (-1, 2] $이다.
• 비미분 함수 $ R $의 가까이 연산자를 적용하여 $ x^{k+1} \in \text{prox}_{\gamma_k R}(y^{a,k} - \gamma_k \nabla F(y^{b,k})) $를 수행한다.
• 쿠르디카–로자셰프스키 성질을 사용하여 유계 수열이 임계점으로 전역 수렴함을 증명한다.
• 비미분 성분 $ R $이 $ M_{x^\star} $에 대해 부분적으로 미분 가능하고 $ F $가 $ x^\star $ 근처에서 국소적으로 $ C^2 $-미분 가능할 경우 활성 다량체 $ M_{x^\star} $의 유한한 식별을 확립한다.
• 활성 다량체에서 선형화된 동역학을 분석하여 행렬의 스펙트럼 반경을 사용해 날카운 국소 선형 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 다단계 관성 전진-후진 방법은 비볼록 비미분 가능 복합 최적화 문제에서 전역 수렴을 달성할 수 있는가?
• RQ2 비미분 함수가 부분적으로 미분 가능할 경우, 알고리즘이 유한 시간 내에 활성 다량체를 식별할 수 있는 조건은 무엇인가?
• RQ3 제안된 방법의 정확한 국소 선형 수렴 속도는 무엇이며, 이는 활성 다량체의 기하학적 성질에 어떻게 의존하는가?
• RQ4 관성 파ram터, 특히 음수 값이 비볼록 영역에서 수렴 거동에 어떻게 영향을 미치는가?
• RQ5 국소 수렴 분석을 활용하여 고차원 가속화 방법을 설계할 수 있는가?

주요 결과

• 쿠르디카–로자셰프스키 성질과 목적 함수의 유계성 하에서 반복값이 임계점으로 전역 수렴함이 입증된다.
• 비미분 성분 $ R $이 $ M_{x^\star} $에 대해 부분적으로 미분 가능하고 $ F $가 $ x^\star $ 근처에서 국소적으로 $ C^2 $-미분 가능할 경우 활성 다량체 $ M_{x^\star} $의 유한한 식별이 증명된다.
• 국소 수렴 속도는 선형이며 날카롭게 결정되며, 이는 활성 다량체에 제한된 $ \Phi $의 헤시안 행렬의 스펙트럼 반경에 의해 결정된다.
• 수렴 속도는 활성 다량체 $ M_{x^\star} $의 기하학적 성질에 명시적으로 의존하며, 헤시안 $ \nabla^2_{M_{x^\star}} \Phi(x^\star) $ 가 중심적인 역할을 한다.
• 이 방법은 음수 관성 파ram터와 더 높은 메모리 사용을 허용하여 이전의 관성 계획을 확장한다.
• 분석을 통해 특정 조건 하에서, 활성 다량체 식별 이후 문제는 $ M_{x^\star} $에서 $ \Phi $를 최소화하는 것으로 축소됨을 밝혀내었으며, 이는 고차원 가속화 방법 설계에 유리하다.