[논문 리뷰] Iteration complexity analysis of random coordinate descent methods for $\ell_0$ regularized convex problems

Andrei Pătraşcu, Ion Necoara|arXiv (Cornell University)|2014. 03. 26.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 부드럽고 볼록인 함수와 $β_0$ 쿼asi노름 페널티를 조합한 $β_0$-정규화된 볼록 최적화 문제에 적용된 랜덤 블록 좌표 강하 방법에 대한 통합 수렴 분석을 제안한다. 이는 제약 조건이 있는 목적 함수의 근사치에 기반한 제한된 클래스 내 국소 최소값으로 거의 확실한 수렴을 확립하며, 강한 볼록성 조건 하에서 확률적으로 선형 수렴을 증명한다.

ABSTRACT

In this paper we analyze a family of general random block coordinate descent methods for the minimization of $\ell_0$ regularized optimization problems, i.e. the objective function is composed of a smooth convex function and the $\ell_0$ regularization. Our family of methods covers particular cases such as random block coordinate gradient descent and random proximal coordinate descent methods. We analyze necessary optimality conditions for this nonconvex $\ell_0$ regularized problem and devise a separation of the set of local minima into restricted classes based on approximation versions of the objective function. We provide a unified analysis of the almost sure convergence for this family of block coordinate descent algorithms and prove that, for each approximation version, the limit points are local minima from the corresponding restricted class of local minimizers. Under the strong convexity assumption, we prove linear convergence in probability for our family of methods.

연구 동기 및 목표

• 비볼록 $β_0$-정규화된 최적화 문제를 해결하는 데 있어 조합 최적화 난이도가 높고, 정규화된 형태와 희소성 제약 형태 간 정확한 등가성이 없는 문제에 대응하고자 한다.
• 특정 $β_0$-정규화된 문제에 맞춘 랜덤 블록 좌표 강하 방법을 위한 통합 수렴 프레임워크를 개발하고자 한다.
• 목적 함수의 근사치에 기반한 제한된 클래스에 따라 국소 최소값을 분류하여 수렴 행동의 더 세밀한 특성화를 가능하게 하고자 한다.
• 각 근사치 형태에 대응하는 제한된 클래스 내에서 알고리즘 반복값이 국소 최소값으로 거의 확실하게 수렴함을 증명하고자 한다.
• 강한 볼록성 조건 하에서 선형 수렴을 확률적으로 확보하여 제안된 방법의 반복 복잡도 보장을 제공하고자 한다.

제안 방법

• 한 번에 한 블록의 변수만 갱신하면서 나머지 변수는 고정하는 방식으로 $β_0$-정규화된 목적 함수의 근사치를 최소화하는 랜덤 블록 좌표 강하 알고리즘의 가족을 제안한다.
• 목적 함수의 근사치 형태의 선택에 따라 국소 최소값의 집합을 제한된 클래스로 분리한다.
• 구체적인 방법들인 랜덤 블록 좌표 경사하강법과 랜덤 프록시멀 좌표 강하법을 포함하는 일반적인 알고리즘 프레임워크를 사용한다.
• 각 반복에서 변수 블록을 무작위로 탐색할 수 있도록 스토케스틱 인덱스 선택 규칙을 도입한다.
• 비볼록 $β_0$-정규화된 문제에 특화된 최적성 조건을 사용하여 수렴을 분석하며, 다양한 유형의 국소 최소값 간의 차이를 구분한다.
• 근사 구조와 블록 선택의 무작위성에 기반해 강한 볼록성 조건 하에서 선형 수렴을 증명함으로써 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 비볼록 $β_0$-정규화된 최적화 문제에 대한 필수 최적성 조건는 무엇이며, 국소 최소값은 어떻게 분류할 수 있는가?
• RQ2 목적 함수의 근사치 형태의 선택이 랜덤 블록 좌표 강하 방법의 수렴 행동에 어떤 영향을 미치는가?
• RQ3 랜덤 블록 좌표 강하 방법을 $β_0$-정규화된 문제에 적용할 때 통합 수렴 분석를 수립할 수 있는가?
• RQ4 제안된 방법이 확률적으로 선형 수렴을 달성하는 조건는 무엇인가?
• RQ5 기존 방법들인 IHTA와 비교하여 제안된 알고리즘이 수렴 속도와 해의 희소성 측면에서 실질적으로 어떻게 성능을 내는가?

주요 결과

• 제안된 랜덤 블록 좌표 강하 방법은 목적 함수의 근사치 형태에 기반한 제한된 클래스 내 국소 최소값으로 거의 확실하게 수렴한다.
• 강한 볼록 문제에 대해서는 확률적으로 선형 수렴을 달성하여, 이 조건 하에서 유리한 반복 복잡도를 보인다.
• 함수 값이 더 우수한 결과를 얻기 위해 (RCD-IHT-$u^e$)가 (IHTA)보다 훨씬 적은 전체 반복 수를 요구했으며, 문제 차원이 증가할수록 그 경향이 두드러졌다.
• $β_2$-정규화된 로지스틱 손실 모델에 대한 실험에서 (RCD-IHT-$u^e$)는 더 적은 전체 반복 수로 가장 우수한 함수 값을 달성하여 확장성과 효율성을 입증했다.
• 해의 희소성은 유지하면서 낮은 목적 함수 값을 달성했으며, 시험 사례들에서 비제로 성분 수가 15에서 767 사이로 다양하게 유지되었다.
• (RCD-IHT-$u^e$)의 성능은 문제 크기가 증가함에 따라 잘 유지되었으며, 변수 수가 2500에 이르는 문제에서도 최소 12회의 전체 반복만으로 수렴을 달성했다.