[논문 리뷰] Convergence of cyclic coordinatewise l1 minimization

Kshitij Khare, Bala Rajaratnam|arXiv (Cornell University)|2014. 04. 21.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 7

한 줄 요약

이 논문은 ℓ₁-규제가 부여된 최적화 문제에서, ℓ₁노름으로 인해 비엄격한 강凸성과 비미분 가능성을 가진 목적함수를 고려할 때, 순환좌표기반 최소화(CCM)의 엄밀한 수렴성 증명을 제시한다. 저자들은 CCM이 생성하는 반복값의 수열이 정류점에 수렴함을 증명하여, 고차원 통계 및 머신러닝 분야에서 널리 사용되는 이 알고리즘에 대한 이론적 보장을 오랫동안 빈곤하게 해왔던 이론적 격차를 메운다.

ABSTRACT

We consider the general problem of minimizing an objective function which is the sum of a convex function (not strictly convex) and absolute values of a subset of variables (or equivalently the l1-norm of the variables). This problem appears exten- sively in modern statistical applications associated with high-dimensional data or "big data", and corresponds to optimizing l1-regularized likelihoods in the context of model selection. In such applications, cyclic coordinatewise minimization (CCM), where the objective function is sequentially minimized with respect to each individual coordi- nate, is often employed as it offers a computationally cheap and effective optimization method. Consequently, it is crucial to obtain theoretical guarantees of convergence for the sequence of iterates produced by the cyclic coordinatewise minimization in this setting. Moreover, as the objective corresponds to at l1-regularized likelihoods of many variables, it is important to obtain convergence of the iterates themselves, and not just the function values. Previous results in the literature only establish either, (i) that every limit point of the sequence of iterates is a stationary point of the objective function, or (ii) establish convergence under special assumptions, or (iii) establish con- vergence for a different minimization approach (which uses quadratic approximation based gradient descent followed by an inexact line search), (iv) establish convergence of only the function values of the sequence of iterates produced by random coordinatewise minimization (a variant of CCM). In this paper, a rigorous general proof of convergence for the cyclic coordinatewise minimization algorithm is provided. We demonstrate the usefulness of our general results in contemporary applications.

연구 동기 및 목표

• 비엄격한 강凸성과 비미분 가능성을 지닌 목적함수를 가진 ℓ₁-규제 최적화 문제에서 순환좌표기반 최소화(CCM)에 대한 일반적인 이론적 수렴 보장을 확립하는 것.
• 목적함수가 엄격한 강凸성이 없고 전역 최소값이 유일하지 않은 경우에도 CCM에 대한 수렴 증명이 부족한 문제를 해결하는 것.
• 현대 통계 및 머신러닝 응용 분야(예: 고차원 회귀 분석 및 공분산 추정)에서 CCM이 널리 사용되는 데 기반을 마련하기 위한 엄밀한 이론적 기초를 제공하는 것.
• 함수값 수렴 또는 제한된 가정 하에서의 수렴을 넘어서, 반복값 자체의 수렴을 증명하여 이론적 이해를 확장하는 것.
• 두 가지 핵심 응용 분야인 고차원 공분산 추정과 로지스틱 회귀에 대해 일반 이론을 적용하여 검증하는 것.

제안 방법

• 목적함수로 두 번 미분 가능한 엄격한 강凸함수 g(E x)와 일부 변수에 대한 ℓ₁노름 펜alties의 합을 최소화하는 일반 최적화 문제를 수식화하며, 비음성 제약 조건을 포함한다.
• 절댓값이 큰 좌표의 수에 대한 재귀적 귀납법을 적용하여 반복값이 정류점으로 수렴함을 증명한다.
• 좌표값의 범위를 감소하는 스케일링 요소 σ_k를 기반으로 하는 중첩된 간격 T_i의 수열을 도입하여 좌표 공간을 분할하고, 깁슨 원리(Pigeonhole Principle)를 적용한다.
• 현재 반복값 벡터에 속하지 않는 간격을 식별하기 위해 깁슨 원리를 활용하여, 한계점으로 수렴하는 부분수열을 구성한다.
• 핵심 보조정리(Lemma 3.13)를 적용하여, 특정 수의 좌표가 임계값을 초과할 경우, 새로운 반복값 수열이 정류점으로 수렴함을 보여준다.
• 반복값 수열 전체의 수렴성을 증명하기 위해, 정류점 집합까지의 거리가 반복마다 σ_k < 1 인 인자로 기하급수적으로 감소함을 보인다.

실험 결과

연구 질문

• RQ1 비엄격한 강凸성 목적함수를 가진 ℓ₁-규제 최적화 문제에서 순환좌표기반 최소화(CCM)가 정류점으로 수렴하는가?
• RQ2 엄격한 가정 없이 고차원, 비미분 가능, 비엄격한 강凸성 환경에서 CCM에 대한 일반적인 수렴 증명을 확립할 수 있는가?
• RQ3 함수값 수렴이 아니라 반복값 수열 자체가 수렴하는 조건은 무엇인가?
• RQ4 CCM의 이론적 수렴성은 고차원 공분산 추정 및 로지스틱 회귀와 같은 실용적 응용 분야로 확장될 수 있는가?
• RQ5 ℓ₁ 펜alty로 인해 일부 방향에서 목적함수가 평탄한 경우, 반복값의 수렴성을 어떻게 증명할 수 있는가?

주요 결과

• 논문은 CCM이 생성하는 반복값 수열의 모든 한계점이 목적함수의 정류점임을 증명한다.
• 저자들은 목적함수에 대한 약한 가정 하에 반복값 수열 자체가 정류점으로 수렴함을 보이며, 함수값 수렴을 넘어서는 결과를 도출한다.
• 수렴은 기하급수적 성격을 띠며, 정류점 집합까지의 거리가 각 단계에서 σ_k < 1 인 인자로 감소함을 보였다.
• 수렴 기법은 좌표 공간을 간격으로 분할하고, 깁슨 원리를 활용하여 영구적으로 0에서 멀리 떨어져 있는 좌표를 식별하는 데 기반한다.
• 일반적인 수렴 결과는 고차원 공분산 추정과 로지스틱 회귀에서 CCM의 수렴성을 증명하는 데 적용되었다.
• 이 연구는 엄격한 강凸성이나 특수한 초기화 조건을 요구하지 않는 ℓ₁-규제 문제에서 CCM에 대한 첫 번째 일반적이고 엄밀한 수렴 증명을 제공함으로써 문헌에서 오랫동안 존재하던 이론적 격차를 메운다.