[논문 리뷰] A performance analysis framework for SOCP algorithms in noisy compressed sensing

Mihailo Stojnic|arXiv (Cornell University)|2013. 03. 29.

Sparse and Compressive Sensing Techniques참고 문헌 58인용 수 7

한 줄 요약

이 논문은 노이즈가 있는 압축 측정에서 두차항 원판 프로그래밍(SOCP) 알고리즘의 통계적 성능 분석 프레임워크를 제안한다. 이 프레임워크를 통해 $\beta$-희소 복원 임계값과 해의 $\times2$-노름 오차를 정밀하게 특성화할 수 있으며, 제약 조건 이sovmetry 성질(RIP) 하에서 오차가 노이즈 수준에 비례하는 상수배로 유계임을 보여준다.

ABSTRACT

Solving under-determined systems of linear equations with sparse solutions attracted enormous amount of attention in recent years, above all, due to work of \cite{CRT,CanRomTao06,DonohoPol}. In \cite{CRT,CanRomTao06,DonohoPol} it was rigorously shown for the first time that in a statistical and large dimensional context a linear sparsity can be recovered from an under-determined system via a simple polynomial $\ell_1$-optimization algorithm. \cite{CanRomTao06} went even further and established that in \emph{noisy} systems for any linear level of under-determinedness there is again a linear sparsity that can be \emph{approximately} recovered through an SOCP (second order cone programming) noisy equivalent to $\ell_1$. Moreover, the approximate solution is (in an $\ell_2$-norm sense) guaranteed to be no further from the sparse unknown vector than a constant times the noise. In this paper we will also consider solving \emph{noisy} linear systems and present an alternative statistical framework that can be used for their analysis. To demonstrate how the framework works we will show how one can use it to precisely characterize the approximation error of a wide class of SOCP algorithms. We will also show that our theoretical predictions are in a solid agrement with the results one can get through numerical simulations.

연구 동기 및 목표

• 노이즈가 있는 압축 측정에서 SOCP 알고리즘의 성능을 분석하기 위한 통계적 프레임워크를 개발하는 것.
• 오차 벡터의 $\times2$-노름에 기반해 SOCP 알고리즘의 근사 오차를 정밀하게 특성화하는 것.
• 노이즈가 있는 시스템에서 $k$-희소 벡터에 대한 SOCP의 복원 성능에 대한 이론적 한계를 설정하는 것.
• 수치 시뮬레이션을 통해 이론적 예측을 검증하여 이론적 결과와 실험 결과 간의 강력한 일치를 보이는 것.
• 적절한 매개변수 설정 하에서 오차 집중 행동의 공유를 통해 SOCP 성능을 LASSO 유형 알고리즘과 연관짓는 것.

제안 방법

• 프레임워크는 i.i.d. 표준 정규 행렬 $A$ 를 가정하고, SOCP 문제인 $\min \|\mathbf{x}\|_1 \text{ subject to } \|A\mathbf{x} - \mathbf{y}\|_2 \leq r_{\text{socp}}$ 를 분석한다.
• 최악의 $\ell_2$-노름을 갖는 오차 벡터 $\mathbf{w}_{\text{socp}} = \mathbf{x} - \hat{\mathbf{x}}$ 를 고려함으로써 일반적인 성능 분석을 도입한다.
• 프레임워크는 $\beta < \beta_{\text{w}}^+$ 인 경우 오차 $\|\mathbf{w}_{\text{socp}}\|_2$ 가 노이즈 수준 $\sigma$ 의 상수배로 유계임을 보여주는 임계 임계값 $\beta_{\text{w}}^+$ 를 유도한다.
• 노이즈 내성 모델링을 위해 $r_{\text{socp}} = \sigma \sqrt{\alpha n}$ 를 사용하고, $(\alpha, \beta)$-평면에서 성능 곡선을 유도한다.
• 적절한 매개변수 선택 하에서 오차 집중 점의 등가성을 고려해 SOCP 성능과 LASSO를 연관지킨다.
• 이론적 예측과 수치 시뮬레이션을 비교하여 프레임워크의 타당성을 검증하였으며, 다양한 노이즈 수준과 시스템 차원에서 이론적 결과와 강력한 일치를 보였다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 압축 측정에서 SOCP 알고리즘의 오차 벡터에 대한 $\ell_2$-노름에 대한 정밀한 이론적 한계는 무엇인가?
• RQ2 SOCP 공식화 하에서, 시스템의 과소정의 비율 $\alpha = m/n$ 에 따라 복원 임계값 $\beta$ (희소 수준) 는 어떻게 달라지는가?
• RQ3 SOCP의 성능를 노이즈 수준 $\sigma$ 와 선형적으로 비례하는 최악의 오차로 특성화할 수 있는가?
• RQ4 잔차 허용 오차 $r_{\text{socp}}$ 의 선택은 오차 성능과 복원 임계값에 어떻게 영향을 미치는가?
• RQ5 SOCP 오차 행동에 대한 이론적 예측이 수치 시뮬레이션과 어느 정도 일치하는가?

주요 결과

• 제약 조건 이sovmetry 성질(RIP) 하에서, SOCP 알고리즘은 $\|\mathbf{w}_{\text{socp}}\|_2 \leq C\sigma$ 와 같은 유계 $\ell_2$-오차를 보이며, 이때 상수 $C$ 는 $n$ 과 무관하다.
• 프레임워크는 $\beta < \beta_{\text{w}}^+$ 인 경우 최악의 $\ell_2$-오차가 $\sigma$ 의 상수배로 유지됨을 보장하는 임계 희소 수준 $\beta_{\text{w}}^+$ 를 정밀하게 결정한다.
• 이론적 예측한 $(\alpha, \beta_{\text{w}}^+)$-곡선은 수치 시뮬레이션과 매우 밀접하게 일치하며, 특히 고-$\alpha$ 영역에서 뚜렷하다.
• $r_{\text{socp}} = \sigma \sqrt{\alpha n}$ 을 선택할 경우 $r_{\text{socp}} = \sigma \sqrt{\frac{\alpha}{1+\rho^2}n}$ 보다 더 우수한 오차 성능을 보이며, 이 차이는 고-$\alpha$ 영역에서 더욱 두드러진다.
• 적절한 매개변수 조정 하에서 SOCP 알고리즘의 오차 집중 점은 LASSO 알고리즘과 일치하며, 이는 두 알고리즘 간의 이론적 연결 고리를 확립한다.
• 프레임워크는 일반적인(최악의 경우) 시나리오 뿐 아니라, 블록 희소 또는 부분적으로 알려진 해를 가진 문제 유형과 같은 문제 의존적 케이스에 대해서도 높은 정밀도로 성능 분석을 가능하게 한다.