[논문 리뷰] Proximal alternating minimization and projection methods for nonconvex problems. An approach based on the Kurdyka-Lojasiewicz inequality

Hédy Attouch, Jérôme Bolte외 2명|arXiv (Cornell University)|2008. 01. 11.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 쿠르디카-로자예프스키(Kurdyka-Łojasiewicz, KL) 부등식을 사용하여 비볼록 최적화 문제에 대한 프록시멀 교대 최소화 알고리즘의 수렴성을 확립한다. KL 조건이 만족될 경우, 알고리즘에 의해 생성된 유계 수열이 목적 함수의 임계점으로 수렴하며, 수렴 속도는 임계점 주변의 함수 국소 기하 구조에 따라 달라진다.

ABSTRACT

We study the convergence properties of an alternating proximal minimization algorithm for nonconvex structured functions of the type: $L(x,y)=f(x)+Q(x,y)+g(y)$, where $f:\R^n ightarrow\R\cup{+\infty}$ and $g:\R^m ightarrow\R\cup{+\infty}$ are proper lower semicontinuous functions, and $Q:\R^n imes\R^m ightarrow \R$ is a smooth $C^1$ function which couples the variables $x$ and $y$. The algorithm can be viewed as a proximal regularization of the usual Gauss-Seidel method to minimize $L$. We work in a nonconvex setting, just assuming that the function $L$ satisfies the Kurdyka-Łojasiewicz inequality. An entire section illustrates the relevancy of such an assumption by giving examples ranging from semialgebraic geometry to "metrically regular" problems. Our main result can be stated as follows: If L has the Kurdyka-Łojasiewicz property, then each bounded sequence generated by the algorithm converges to a critical point of $L$. This result is completed by the study of the convergence rate of the algorithm, which depends on the geometrical properties of the function $L$ around its critical points. When specialized to $Q(x,y)=|x-y|^2$ and to $f$, $g$ indicator functions, the algorithm is an alternating projection mehod (a variant of Von Neumann's) that converges for a wide class of sets including semialgebraic and tame sets, transverse smooth manifolds or sets with "regular" intersection. In order to illustrate our results with concrete problems, we provide a convergent proximal reweighted $\ell^1$ algorithm for compressive sensing and an application to rank reduction problems.

연구 동기 및 목표

• 기존 볼록성 가정이 성립하지 않는 비볼록 최적화 환경에서 교대 최소화 알고리즘의 수렴 보장을 확립하기 위해.
• 형태 $ L(x,y) = f(x) + Q(x,y) + g(y) $를 가진 구조적 비볼록 함수를 최소화하기 위한 가우스-세이델 방법의 프록시멀 정규화의 수렴성을 분석하기 위해.
• 쿠르디카-로자예프스키(KL) 부등식이 비볼록 문제 전반에 걸쳐 수렴성을 증명하는 통합적 프레임워크를 제공함을 보여주기 위해.
• 목적 함수의 임계점 주변 기하 구조에 기반하여 알고리즘의 수렴 속도를 특성화하기 위해.
• 압축 센싱 및 랭크 감소 문제에 대한 수렴성 보장된 프록시멀 재가중 $ \ell^1 $ 알고리즘과 같은 구체적 응용을 제시하기 위해.

제안 방법

• 알고리즘은 목적 함수 $ L(x,y) $의 프록시멀 정규화를 $ x $ 및 $ y $ 에 대해 번갈아가며 최소화하며, 스텝 사이즈 파rameter $ \lambda_k $ 및 $ \mu_k $ 를 사용한다. 이 파arameter는 임의로 큰 값이 될 수 있다.
• 이 방법는 다음과 같이 형식화된다: $ x_{k+1} \in \arg\min_u \left\{ L(u,y_k) + \frac{1}{2\lambda_k}\|u - x_k\|^2 \right\} $, 이어서 $ y_{k+1} \in \arg\min_v \left\{ L(x_{k+1},v) + \frac{1}{2\mu_k}\|v - y_k\|^2 \right\} $.
• 목적 함수 $ L $ 가 쿠르디카-로자예프스키(KL) 부등식을 만족할 경우 수렴이 보장되며, 이는 o-최소 구조에서 정의 가능한 함수들, 즉 비볼록 다항식 및 전역적으로 하위해석 함수들에서 검증된다.
• 분석은 $ \varphi'(\psi(x)) \cdot \text{dist}(0, \partial \psi(x)) \geq 1 $ 형태의 KL 부등식을 활용하며, 여기서 $ \psi $ 는 목적 함수이고 $ \varphi $ 는 비특이화 함수이다.
• 교대 투영 방법에 적용하기 위해 $ Q(x,y) = \|x - y\|^2 $ 과 $ f, g $ 를 지시 함수로 설정함으로써, 교차하는 다각형과 비볼록 다항식 집합에 대해 수렴이 회복된다.
• 구체적 응용으로는 압축 센싱을 위한 프록시멀 재가중 $ \ell^1 $ 알고리즘과 랭크 감소 방법이 있으며, 모두 KL 조건 하에서 수렴성이 증명된다.

실험 결과

연구 질문

• RQ1 비볼록 환경에서 프록시멀 교대 최소화 알고리즘이 어떤 조건에서 목적 함수의 임계점으로 수렴하는가?
• RQ2 쿠르디카-로자예프스키 부등식은 비볼록, 비미분 가능, 구조적 최적화 문제의 수렴 분석을 어떻게 가능하게 하는가?
• RQ3 목적 함수의 기하 구조(예: 비볼록 다항식 또는 하위해석 함수)와 알고리즘의 수렴 속도 사이의 관계는 무엇인가?
• RQ4 KL 부등식은 다양한 비볼록 문제, 예를 들어 타당성 문제나 희소 복원 문제에 걸쳐 수렴 결과를 통합적으로 다룰 수 있는가?
• RQ5 교차하는 다각형 또는 정규 교차를 가지는 집합과 같은 비볼록 집합에 대해 교대 투영 방법의 수렴 성질은 어떠한가?

주요 결과

• 목적 함수 $ L $ 가 쿠르디카-로자예프스키(KL) 부등식을 만족할 경우, 프록시멀 교대 최소화 알고리즘에 의해 생성된 각 유계 수열은 $ L $ 의 임계점으로 수렴한다.
• 알고리즘의 수렴 속도는 $ L $ 이 임계점 주변에서의 국소 기하 구조에 따라 달라지며, KL 부등식의 비특이화 함수 $ \varphi $ 가 볼록이고 하위해석적일 경우 빠른 수렴을 보인다.
• 교대 투영 방법에 대해 $ Q(x,y) = \|x - y\|^2 $ 이고 $ f, g $ 가 지시 함수일 경우, 교차하는 매끄러운 다각형과 비볼록 다항식 집합에 대해 수렴이 보장된다.
• 점 $ (\bar{x}, \bar{y}) $ 에서 KL 부등식이 성립하는 조건은 정규 원소들이 $ [-N_C(\bar{x})] \cap N_D(\bar{y}) = \{0\} $ 를 만족할 때이며, 이는 교차하는 다각형에서 성립한다.
• 이 프레임워크는 전역적으로 하위해석 함수, 예를 들어 실해석 다양체나 로그-지수 o-최소 구조에서 정의 가능한 집합에 의해 정의된 함수에 적용 가능하다.
• 압축 센싱을 위한 프록시멀 재가중 $ \ell^1 $ 알고리즘과 랭크 감소 방법을 포함한 구체적 응용은 모두 KL 조건 하에서 수렴성이 증명된다.