[논문 리뷰] Random coordinate descent methods for $\ell_0$ regularized convex optimization

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|2014. 03. 26.

Sparse and Compressive Sensing Techniques인용 수 6

한 줄 요약

이 논문은 부드럽고 볼록인 함수와 $β_0$ 정규화 항을 조합한 목적함수를 갖는 $β_0$ 정규화된 볼록 최적화 문제를 해결하기 위한 랜덤 블록 좌표강하 방법의 가족을 제안한다. 이는 제약 조건이 부여된 클래스 내에서 국소 최솟값으로 거의 확실히 수렴함을 입증하며, 강한 볼록성 조건 하에서 확률적으로 선형 수렴을 증명한다.

ABSTRACT

In this paper we analyze a family of general random block coordinate descent methods for the minimization of $\ell_0$ regularized optimization problems, i.e. the objective function is composed of a smooth convex function and the $\ell_0$ regularization. Our family of methods covers particular cases such as random block coordinate gradient descent and random proximal coordinate descent methods. We analyze necessary optimality conditions for this nonconvex $\ell_0$ regularized problem and devise a separation of the set of local minima into restricted classes based on approximation versions of the objective function. We provide a unified analysis of the almost sure convergence for this family of block coordinate descent algorithms and prove that, for each approximation version, the limit points are local minima from the corresponding restricted class of local minimizers. Under the strong convexity assumption, we prove linear convergence in probability for our family of methods.

연구 동기 및 목표

• β_0 정규화된 최적화 문제를 위한 통합된 랜덤 블록 좌표강하 방법의 분석을 목적으로 한다.
• 비볼록 $β_0$ 정규화 문제의 필요 최적성 조건을 규명한다.
• 목적함수의 근사치를 기반으로 국소 최솟값을 제약 조건이 있는 클래스로 분류한다.
• 해당 제약 조건이 있는 클래스 내에서 알고리즘이 국소 최솟값으로 거의 확실히 수렴함을 입증한다.
• 강한 볼록성 가정 하에서 확률적으로 선형 수렴을 증명한다.

제안 방법

• 이 방법은 변수의 블록에 대해 랜덤 블록 좌표강하를 적용하며, 랜덤 기울기 강하와 프록시멀 좌표강하의 일반화이다.
• 제약 조건이 있는 국소 최소화자 집합을 정의하기 위해 $β_0$ 정규화 항의 근사치를 사용한다.
• 목적함수의 기울기 또는 프록시멀 연산자를 기반으로 얻은 강하 방향을 사용해 한 번에 한 블록의 변수만 갱신한다.
• 수렴 분석은 라파노프 유형 함수를 구성하고, 랜덤 블록 선택 하에서 반복값의 행동을 분석하는 데 기반한다.
• $β_0$ 노름의 다양한 근사 수준을 구분하여 국소 최솟값의 제약 조건이 있는 클래스를 정의한다.
• 강한 볼록성을 가정하여 반복값에 대한 확률적 선형 수렴을 도출한다.

실험 결과

연구 질문

• RQ1 β_0 정규화된 비볼록 최적화 문제에 대한 필요 최적성 조건은 무엇인가?
• RQ2 목적함수의 근사치를 기반으로 국소 최솟값을 어떻게 제약 조건이 있는 클래스로 분류할 수 있는가?
• RQ3 제안된 랜덤 블록 좌표강하 방법은 제약 조건이 있는 클래스 내에서 거의 확실히 국소 최솟값으로 수렴하는가?
• RQ4 어떤 조건에서 이 방법이 확률적으로 선형 수렴을 달성하는가?
• RQ5 목적함수의 근사치 수준은 수렴 행동과 수렴점의 성질에 어떤 영향을 미치는가?

주요 결과

• 제안된 랜덤 블록 좌표강하 방법은 목적함수의 근사치를 기반으로 정의된 제약 조건이 있는 클래스 내에서 거의 확실히 국소 최솟값으로 수렴한다.
• 반복값의 극한점은 각각의 근사 수준에 대응하는 제약 조건이 있는 클래스 내에서 국소 최소화자임이 보장된다.
• 강한 볼록성 조건을 가정할 경우, 방법은 확률적으로 선형 수렴을 달성한다.
• 분석은 기존의 랜덤 블록 좌표강하 기울기 강하와 랜덤 프록시멀 좌표강하 방법을 하나의 프레임워크로 통합한다.
• 국소 최솟값을 제약 조건이 있는 클래스로 분류하는 것은 비볼록 $β_0$-정규화된 문제에서의 수렴 행동에 대해 보다 정교한 이해를 제공한다.
• 전역 볼록성 조건을 요구하지 않기 때문에 수렴 결과는 광범위한 비볼록 문제에 적용 가능하다.