[논문 리뷰] A framework to characterize performance of LASSO algorithms

Mihailo Stojnic|arXiv (Cornell University)|2013. 03. 29.

Sparse and Compressive Sensing Techniques참고 문헌 63인용 수 99

한 줄 요약

이 논문은 노이즈가 있는 과잉 결정된 선형 시스템에서 희소 해를 가지는 LASSO 알고리즘의 성능을 특징짓는 엄밀한 분석 프레임워크를 제안한다. 이전의 $\beta$-희소 복원 작업을 확장하여, i.i.d. 가우시안 설계 행렬 하에서 LASSO 유형 최적화의 정확한 최악의 경우 $\times$-노름 오차 경계를 유도하며, 기존 이론 결과와의 밀도 있는 일치를 확인하고 동일한 성능을 보이는 SOCP 기반 알고리즘을 밝혀낸다.

ABSTRACT

In this paper we consider solving \emph{noisy} under-determined systems of linear equations with sparse solutions. A noiseless equivalent attracted enormous attention in recent years, above all, due to work of \cite{CRT,CanRomTao06,DonohoPol} where it was shown in a statistical and large dimensional context that a sparse unknown vector (of sparsity proportional to the length of the vector) can be recovered from an under-determined system via a simple polynomial $\ell_1$-optimization algorithm. \cite{CanRomTao06} further established that even when the equations are \emph{noisy}, one can, through an SOCP noisy equivalent of $\ell_1$, obtain an approximate solution that is (in an $\ell_2$-norm sense) no further than a constant times the noise from the sparse unknown vector. In our recent works \cite{StojnicCSetam09,StojnicUpper10}, we created a powerful mechanism that helped us characterize exactly the performance of $\ell_1$ optimization in the noiseless case (as shown in \cite{StojnicEquiv10} and as it must be if the axioms of mathematics are well set, the results of \cite{StojnicCSetam09,StojnicUpper10} are in an absolute agreement with the corresponding exact ones from \cite{DonohoPol}). In this paper we design a mechanism, as powerful as those from \cite{StojnicCSetam09,StojnicUpper10}, that can handle the analysis of a LASSO type of algorithm (and many others) that can be (or typically are) used for "solving" noisy under-determined systems. Using the mechanism we then, in a statistical context, compute the exact worst-case $\ell_2$ norm distance between the unknown sparse vector and the approximate one obtained through such a LASSO. The obtained results match the corresponding exact ones obtained in \cite{BayMon10,DonMalMon10}. Moreover, as a by-product of our analysis framework we recognize existence of an SOCP type of algorithm that achieves the same performance.

연구 동기 및 목표

• 노이즈가 있고 과잉 결정된 선형 시스템에서 희소 해를 가지는 LASSO 알고리즘의 성능을 분석하기 위한 수학적으로 엄밀한 프레임워크를 개발하는 것.
• 노이즈가 없는 경우의 정확한 복원 결과를 노이즈가 있는 설정으로 확장하여, 특히 $\times$-노름 오차 특성화에 초점을 맞추는 것.
• 진짜 희소 벡터와 LASSO 추정 해 사이의 최악의 경우 $\times$-노름 거리에 대한 정확한 이론적 경계를 수립하는 것.
• LASSO와 동일한 오차 성능을 달성하는 SOCP 유형 알고리즘이 존재하는지 보여주는 것, 분석의 부산물로써.
• 미래의 연구를 위한 기초를 제공하여 문제 의존적 또는 비일반적인 LASSO 성능 분석, 예를 들어 구조적 또는 근사 희소 해를 포함한 분석을 가능하게 하는 것.

제안 방법

• 이전의 노이즈가 없는 $\times$-최적화 연구에서 유래한 강력한 분석 도구(예: [63, 62])를 노이즈가 있는 LASSO 설정으로 적용하는 것.
• 측정 행렬 $A$의 i.i.d. 표준 정규 원소를 가정하는 통계적 고차원 점근적 프레임워크를 사용하며, $m = \alpha n$, $k = \beta n$로 설정한다.
• 주요 성능 지표의 정확한 표현을 유도하며, 오차 벡터 $\|\mathbf{w}_{\text{lasso}}\|_2$의 기대값 $\times$-노름을 포함한다.
• 두 가지 변형을 도입하고 분석한다: 표준 LASSO와 동일한 프레임워크 하에서의 양성 제약 조건이 있는 제약 버전.
• 고정된 신호 대 잡음 비율($\rho = \mathbb{E}\|\mathbf{w}_{\text{lasso}}\|_2 / \sigma$)에 대응하는 핵심 매개변수($\beta_{w}^{+}$)를 결정하기 위해 윤곽 기반 접근법을 사용한다.
• 각 $\alpha$와 $\beta_{w}^{+}$ 조합에 대해 100개의 독립 시뮬레이션을 포함한 광범위한 몬테카를로 시뮬레이션을 통해 이론적 예측을 검증한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 과잉 결정된 선형 시스템에서 희소 해를 가지는 LASSO 추정기의 정확한 최악의 경우 $\times$-노름 오차는 무엇인가?
• RQ2 고차원, i.i.d. 가우시안 행렬 설정에서, 시스템 차원($n$), 희소성($k$), 노이즈 수준($\sigma$)에 따라 LASSO 알고리즘의 성능은 어떻게 스케일링되는가?
• RQ3 제안된 프레임워크는 이전 연구에서 알려진 이론 결과(예: [6, 26])를 노이즈가 있는 LASSO 설정에서 재현할 수 있는가?
• RQ4 LASSO와 동일한 $\times$-노름 오차 성능을 달성하는 SOCP 유형 최적화 알고리즘이 존재하는가? 만약 존재한다면, 그 이론적 성질은 무엇인가?
• RQ5 수치 실험은 어떤 정도로 이론적 예측이 다양한 $\alpha$ 및 $\beta_{w}^{+}$ 영역에서 일치하는가?

주요 결과

• 이 프레임워크는 LASSO 추정기의 정확한 최악의 경우 $\times$-노름 오차를 성공적으로 계산하며, 이론적 예측과 수치 실험 간의 높은 정밀도 일치를 보였다.
• 신호 대 잡음 비율 $\rho = 2$일 경우, 기대값 $\|\mathbf{w}_{\text{lasso}}\|_2$는 $n \to \infty$일 때 2로 수렴하며, $n=2000$일 때 수치 결과로는 $1.9876$을 보였다.
• $\rho = 3$일 경우, 기대값 $\|\mathbf{w}_{\text{lasso}}\|_2$는 3으로 수렴하며, $n=1500$일 때 수치 결과로는 $3.0218$을 도출하여 이론적 예측을 확인했다.
• 이 프레임워크는 LASSO와 동일한 $\times$-노름 오차 성능을 달성하는 SOCP 유형 알고리즘을 식별하여, 최악의 경우 상황에서의 동등성을 검증했다.
• 수치 실험은 다양한 $\alpha$ 값($0.3, 0.5, 0.7$)과 노이즈 영역($\rho = 2, 3$)에서 이론적 예측과 시뮬레이션 결과 간의 일관된 일치를 보였다.
• 이 프레임워크는 블록 희소, 이진, 또는 낮은 랭크 구조적 해를 포함한 문제 의존적 또는 비일반적인 LASSO 성능 분석으로 확장 가능한 일반성과 충분한 유연성을 지닌다.