[논문 리뷰] Does $\ell_p$-minimization outperform $\ell_1$-minimization?

Le Zheng, Arian Maleki외 3명|arXiv (Cornell University)|2015. 01. 15.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 15

한 줄 요약

이 논문은 노이즈가 있는 희소 선형 측정치에서 ℓₚ-최소화(0 ≤ p < 1)가 LASSO(ℓ₁-최소화)보다 더 나은 희소 신호 복원 성능을 보이는지 조사한다. 渐近적 영역에서 약간의 메시지 전파(AMP)와 복제 분석을 사용하여, 노이즈가 없는 설정에서는 p < 1일 때 ℓₚ-최소화가 LASSO보다 더 나은 단계 전이를 달성하는 것으로 나타났지만, 성능은 노이즈 수준에 따라 크게 좌우되며, 저노이즈에서는 p = 0가, 고노이즈에서는 p = 1이 가장 우수하다.

ABSTRACT

In many application areas we are faced with the following question: Can we recover a sparse vector $x_o \in \mathbb{R}^N$ from its undersampled set of noisy observations $y \in \mathbb{R}^n$, $y=A x_o+w$. The last decade has witnessed a surge of algorithms and theoretical results addressing this question. One of the most popular algorithms is the $\ell_p$-regularized least squares (LPLS) given by the following formulation: \[ \hat{x}(γ,p )\in \arg\min_x \frac{1}{2}\|y - Ax\|_2^2+γ\|x\|_p^p, \] where $p \in [0,1]$. Despite the non-convexity of these problems for $p&lt;1$, they are still appealing because of the following folklores in compressed sensing: (i) $\hat{x}(γ,p )$ is closer to $x_o$ than $\hat{x}(γ,1)$. (ii) If we employ iterative methods that aim to converge to a local minima of LPLS, then under good initialization these algorithms converge to a solution that is closer to $x_o$ than $\hat{x}(γ,1)$. In spite of the existence of plenty of empirical results that support these folklore theorems, the theoretical progress to establish them has been very limited. This paper aims to study the above folklore theorems and establish their scope of validity. Starting with approximate message passing algorithm as a heuristic method for solving LPLS, we study the impact of initialization on the performance of AMP. Then, we employ the replica analysis to show the connection between the solution of AMP and $\hat{x}(γ, p)$ in the asymptotic settings. This enables us to compare the accuracy of $\hat{x}(γ,p)$ for $p \in [0,1]$. In particular, we will characterize the phase transition and noise sensitivity of LPLS for every $0\leq p\leq 1$ accurately. Our results in the noiseless setting confirm that LPLS exhibits the same phase transition for every $0\leq p &lt;1$ and this phase transition is much higher than that of LASSO.

연구 동기 및 목표

• p < 1인 ℓₚ-최소화가 LASSO(ℓ₁-최소화)보다 더 나은 희소 신호 복원 성능을 낼 수 있다는 일반적인 주장에 대해 엄밀히 평가하는 것.
• 비볼록 ℓₚ-정규화 최소 제곱법에 대한 반복 알고리즘의 초기화가 미치는 영향을 이해하는 것.
• 모든 p ∈ [0,1]에 대해 ℓₚ-최소화의 단계 전이 및 노이즈 민감도를 渐진적 분석을 통해 특성화하는 것.
• AMP가 ℓₚ-최소화의 전역 최적해에 수렴하는 조건을 규명하고, 초기화에 따라 수렴 여부가 달라지는지 확인하는 것.

제안 방법

• ℓₚ-정규화 최소 제곱법의 히우리스틱 해법으로 약간의 메시지 전파(AMP)를 사용하여, 무작위 i.i.d. 측정 행렬 하에서 상태 진화를 추적한다.
• 통계역학 기법인 복제 분석을 사용하여 AMP의 渐진적 성능를 특성화하고, ℓₚ-정규화 최소 제곱법의 전역 최소화자와 연결한다.
• AMP의 상태 진화 방정식을 유도하여 고차원 극한에서 추정 오차 및 디노이징 함수 행동을 모델링한다.
• AMP의 고정점 분석을 통해 희소 신호를 복원할 수 있는 조건을 스파arsity 수준과 노이즈 분산에 따라 규명한다.
• 다양한 p 값과 노이즈 수준에서 ℓₚ와 ℓ₁ 해의 평균 제곱오차(MSE)를 渐진적 기대값을 사용하여 비교한다.
• 특히 성공적 복원을 위한 임계 스파arsity 임계값 δ*에 초점을 맞춰 이론적 예측을 수치 시뮬레이션과 이론적 한계와 함께 검증한다.

실험 결과

연구 질문

• RQ1 노이즈가 없는 설정에서 p < 1인 ℓₚ-최소화가 LASSO보다 더 나은 단계 전이를 달성하는가? 만약 그렇다면 어떤 p 값에서 성능이 향상되는가?
• RQ2 ℓₚ-최소화의 성능는 측정 노이즈에 따라 어떻게 달라지며, 저노이즈 또는 고노이즈 조건에서 최적의 p 값은 무엇인가?
• RQ3 반복적 해법의 초기화가 ℓₚ-정규화 최소 제곱법의 전역 최적해 수렴에 미치는 영향은 어느 정도인가?
• RQ4 AMP가 초기화에 관계없이 ℓₚ-정규화 최소 제곱법의 전역 최소화자에 수렴하는 조건은 무엇인가?
• RQ5 ℓₚ-최소화와 ℓ₁-최소화 사이에 노이즈 민감도 및 복원 정확도 측면에서 기본적인 성능 격차가 존재하는가?

주요 결과

• 노이즈가 없는 설정에서는 p ∈ [0,1)인 모든 ℓₚ-최소화가 ℓ₀-최소화와 동일한 향상된 단계 전이 임계값을 달성하며, 이는 LASSO(p = 1)보다 뚜렷하게 우수하다.
• 노이즈가 있는 설정에서는 매우 낮은 노이즈 수준에서 p = 0(하드 스위칭)가 다른 p 값보다 뛰어나며, 이는 작은 편향에 대한 민감도가 낮기 때문이다.
• 고노이즈 수준에서는 p = 1(LASSO)가 ℓₚ-최소화자 중에서 최적의 성능을 보이며, 노이즈 증폭이 가장 적고 가장 강건하기 때문이다.
• ℓₚ-최소화의 성능는 노이즈에 매우 민감하다: 중간 p 값(예: p = 0.5)은 저노이즈 및 고노이즈 모두에서 열악한 성능을 보인다.
• AMP는 스파arsity 수준가 임계 임계값 δ*(p) 이하일 때에만 ℓₚ-정규화 최소 제곱법의 전역 최소화자에 수렴하며, 이 값은 p에 따라 달라지며 최적화 문제의 실제 단계 전이보다 낮다.
• 복제 분석은 ℓₚ-최소화의 MSE 및 노이즈 민감도를 정확하게 渐진적으로 특성화하며, p < 1인 ℓₚ-최소화가 유리한 노이즈 환경에서는 LASSO를 능가할 수 있음을 확인한다.