[논문 리뷰] Compressed Sensing over $\ell_p$-balls: Minimax Mean Square Error

David L. Donoho, Iain M. Johnstone외 2명|arXiv (Cornell University)|2011. 03. 10.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 13

한 줄 요약

이 논문은 고차원 압축 측정에서 $\beta$-벌점화된 최소제곱 재구성(LASSO)에 대해 $\beta_p$-구를 중심으로 최소최대 평균제곱오차(AMSE)의 정밀한 점근적 분석을 제공한다. i.i.d. 가우시안 측정 행렬과 점근적 영역 $n,N \to \infty$ 이면서 $n/N = \delta$ 인 조건 하에, worst-case AMSE의 정확한 상수 인자와 수렴 속도를 $\xi^2 \cdot \left(\frac{2\log(N/n)}{n}\right)^{2/p - 1} \cdot (1+o(1))$로 도출하며, 이는 스칼라 소프트 임계처리와 AMP 알고리즘과 깊은 연결을 드러낸다.

ABSTRACT

We consider the compressed sensing problem, where the object $x_0 \in \bR^N$ is to be recovered from incomplete measurements $y = Ax_0 + z$; here the sensing matrix $A$ is an $n imes N$ random matrix with iid Gaussian entries and $n < N$. A popular method of sparsity-promoting reconstruction is $\ell^1$-penalized least-squares reconstruction (aka LASSO, Basis Pursuit). It is currently popular to consider the strict sparsity model, where the object $x_0$ is nonzero in only a small fraction of entries. In this paper, we instead consider the much more broadly applicable $\ell_p$-sparsity model, where $x_0$ is sparse in the sense of having $\ell_p$ norm bounded by $ξ\cdot N^{1/p}$ for some fixed $0 < p \leq 1$ and $ξ> 0$. We study an asymptotic regime in which $n$ and $N$ both tend to infinity with limiting ratio $n/N = δ\in (0,1)$, both in the noisy ($z eq 0$) and noiseless ($z=0$) cases. Under weak assumptions on $x_0$, we are able to precisely evaluate the worst-case asymptotic minimax mean-squared reconstruction error (AMSE) for $\ell^1$ penalized least-squares: min over penalization parameters, max over $\ell_p$-sparse objects $x_0$. We exhibit the asymptotically least-favorable object (hardest sparse signal to recover) and the maximin penalization. Our explicit formulas unexpectedly involve quantities appearing classically in statistical decision theory. Occurring in the present setting, they reflect a deeper connection between penalized $\ell^1$ minimization and scalar soft thresholding. This connection, which follows from earlier work of the authors and collaborators on the AMP iterative thresholding algorithm, is carefully explained. Our approach also gives precise results under weak-$\ell_p$ ball coefficient constraints, as we show here.

연구 동기 및 목표

• 압축 측정에서 $k$-희소 모델과 더 현실적인 $\ell_p$-구 희소 모델 사이의 정밀도 격차를 메우기 위해.
• 모든 $\ell_p$-구 제약 조건 하에서 $\ell^1$-벌점화된 최소제곱(LASSO)의 최악의 경우 최소최대 평균제곱오차(AMSE)에 대한 정확한 점근적 표현을 유도하기 위해.
• $\ell_p$-구 모델에서 복구하기 가장 어려운 신호(최소유리 신호)와 최대최소 벌점화 파rameter를 규명하기 위해.
• 근사 메시지 전달(AMP) 프레임워크를 통해 $\ell^1$-벌점화 재구성과 스칼라 소프트 임계처리 사이의 정밀한 연결을 수립하기 위해.

제안 방법

• 측정 수 $n,N$ 가 $\infty$로 수렴하고 $n/N = \delta \in (0,1)$ 인 고차원 점근적 영역을 분석하며, i.i.d. 가우시안 측정 행렬을 사용한다.
• 근사 메시지 전달(AMP) 알고리즘과 그 이론적 성질을 적용하여 점근적 평균제곱오차에 대한 정확한 표현을 도출한다.
• 이전의 AMP 연구를 통해 확립된 $\ell^1$-벌점화된 최소제곱과 스칼라 소프트 임계처리 간의 연결을 활용하여 최소최대 결과를 도출한다.
• 신호 $x_0$ 에 약한 정규성 조건을 부과하고, 모멘트 수렴을 보장하기 위해 균일 적분 가능성 조건을 포함한다.
• 벌점화 파rameter $\lambda$ 에 대해 최소화하고, $\|x_0\|_p^p \leq N\xi^p$ 를 만족하는 모든 $\ell_p$-희소 신호 $x_0$ 에 대해 최대화함으로써 최소최대 AMSE 를 유도한다.
• 결과를 갈프란드 $n$-폭과 기존의 하한값과의 비교를 통해 검증한다.

실험 결과

연구 질문

• RQ1 고차원 점근적 영역에서 $\ell_p$-구 위의 $\ell^1$-벌점화된 최소제곱 재구성에 대한 정확한 점근적 최악의 경우 최소최대 평균제곱오차(AMSE)는 무엇인가?
• RQ2 고차원 점근적 영역 하에서 $\ell_p$-구 모델 내에서 복구하기 가장 어려운 신호(최소유리 신호)는 무엇인가?
• RQ3 최악의 경우 AMSE 를 최적화하는 최대최소 벌점화 파rameter $\lambda$ 는 무엇인가?
• RQ4 최소최대 AMSE 는 문제 차원 $n,N$ 과 희소성 파rameter $p$ 에 따라 어떻게 척도화되는가?
• RQ5 이 점근적 영역에서 $\ell^1$-벌점화 재구성과 스칼라 소프트 임계처리 사이의 정밀한 연결은 무엇인가?

주요 결과

• 최적의 펜alties를 가진 LASSO 가 $\ell_p$-구 위에서 최악의 점근적 최소최대 평균제곱오차(AMSE)는 점근적으로 $\xi^2 \cdot \left(\frac{2\log(N/n)}{n}\right)^{2/p - 1} \cdot (1+o(1))$ 로 표현된다.
• 복구하기 가장 어려운 신호는 $\ell_p$-구 제약 조건 내에서 큰 값과 작은 값의 특정 구성에 해당하며 명시적으로 특성화되어 있다.
• 최소최대 AMSE 를 달성하는 최대최소 벌점화 파rameter $\lambda$ 는 정확히 결정되며, 이는 $p$, $\xi$, 그리고 문제 차원에 따라 달라진다.
• 분석 결과, 극한의 과소샘플링($n/N \to 0$ 이지만 천천히)은 점근적으로 노이즈 추가와 동일시되며, 이 효과적 노이즈 수준은 $\log(N/n)/n$ 과 관련이 있다.
• $\ell^1$-벌점화 재구성과 스칼라 소프트 임계처리 사이의 연결은 단순 히وري스틱이 아니라, AMP 알고리즘과 그 수렴 성질을 통해 공식적으로 확립되어 있다.
• 결과는 약한 $\ell_p$-구 제약 조건에 대해 강건하며, 미약한 모멘트 조건 하에서도 유지되어 광범위한 적용 가능성을 시사한다.