[논문 리뷰] Sparse Recovery via Partial Regularization: Models, Theory and Algorithms

Zhaosong Lu, Xiaorui Li|arXiv (Cornell University)|2015. 11. 23.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 6

한 줄 요약

이 논문은 희소 복원에서 표준 ℓ₁ 정규화의 내재된 편향을 줄이기 위해 가장 큰 |r| 개의 정규화된 항목의 합을 최소화하는 부분 정규화 모델을 제안한다. 이 방법은 기존의 제한된 이성성 성질(Restricted Isometry Property)보다 더 약한 조건에서도 희소 해를 전역 또는 국소적으로 복원함을 보장하며, 일차원 부분문제로의 환원을 통해 닫힌 형태의 해를 갖는 효율적인 1차 가용 증강 라그랑주 알고리즘을 제공하여 압축 감지와 로지스틱 회귀에서 기존 방법들을 능가한다.

ABSTRACT

In the context of sparse recovery, it is known that most of existing regularizers such as $\ell_1$ suffer from some bias incurred by some leading entries (in magnitude) of the associated vector. To neutralize this bias, we propose a class of models with partial regularizers for recovering a sparse solution of a linear system. We show that every local minimizer of these models is sufficiently sparse or the magnitude of all its nonzero entries is above a uniform constant depending only on the data of the linear system. Moreover, for a class of partial regularizers, any global minimizer of these models is a sparsest solution to the linear system. We also establish some sufficient conditions for local or global recovery of the sparsest solution to the linear system, among which one of the conditions is weaker than the best known restricted isometry property (RIP) condition for sparse recovery by $\ell_1$. In addition, a first-order feasible augmented Lagrangian (FAL) method is proposed for solving these models, in which each subproblem is solved by a nonmonotone proximal gradient (NPG) method. Despite the complication of the partial regularizers, we show that each proximal subproblem in NPG can be solved as a certain number of one-dimensional optimization problems, which usually have a closed-form solution. We also show that any accumulation point of the sequence generated by FAL is a first-order stationary point of the models. Numerical results on compressed sensing and sparse logistic regression demonstrate that the proposed models substantially outperform the widely used ones in the literature in terms of solution quality.

연구 동기 및 목표

• ℓ₁ 정규화에서 발생하는 희소 복원에서 큰 크기의 항목을 선호하는 편향 문제를 해결하기 위해.
• 가장 큰 |r| 개의 |x| 항목의 합을 최소화하는 부분 정규화자들을 사용하는 모델 클래스를 개발하기 위해.
• 이러한 모델이 희소 해를 전역 또는 국소적으로 복원할 수 있는 이론적 조건을 설정하기 위해.
• 부분 정규화 모델을 해결하기 위한 전역 수렴 보장을 갖는 효율적인 1차 알고리즘을 설계하기 위해.
• 압축 감지와 희소 로지스틱 회귀에서 기존 방법들과 비교해 더 뛰어난 해 품질을 보여주기 위해.

제안 방법

• 부분 정규화 모델 제안: ||Ax - b|| ≤ σ 를 조건으로 ∑_{i=r+1}^n φ(|x|_{[i]}) 를 최소화하되, |x|_{[i]} 는 절댓값 항목 중 i번째로 큰 값이다.
• 각 하위문제가 닫힌 형태의 해를 갖는 유한 개의 1차원 최적화로 환원되는 비감소 프록시멀 경사법(NPG)을 사용하여 하위문제를 해결한다.
• 전체 모델을 해결하기 위해 1차 가용 증강 라그랑주(FAL) 방법을 적용하여, 1차 정류점으로의 수렴을 보장한다.
• 이론적 해석 가능성 확보를 위해 φ에 대해 가정 1을 도입: 하부 연속성, 증가성, φ(0) = 0.
• 전역 및 국소 복원 조건을 위한 충분조건 유도: 표준 제한된 이성성 성질(RIP)보다 더 약한 조건 포함.
• FAL-NPG 알고리즘의 전역 수렴을 확립하여, 모든 누적점이 1차 정류점임을 보여준다.

실험 결과

연구 질문

• RQ1 부분 정규화는 ℓ₁ 최소화에서 발생하는 큰 크기의 희소 항목 복원을 왜곡하는 편향을 줄일 수 있는가?
• RQ2 부분 정규화 모델이 선형 시스템의 희소 해를 전역적으로 복원할 수 있는 조건은 무엇인가?
• RQ3 제안된 모델의 복원 조건은 ℓ₁ 최소화에 대해 알려진 최고의 RIP 조건보다 더 약한가?
• RQ4 부분 정규화 모델은 수렴 보장과 낮은 계산 비용을 갖는 효율적인 방법으로 해결할 수 있는가?
• RQ5 압축 감지와 로지스틱 회귀와 같은 실제 응용에서 제안된 모델의 해 품질은 ℓ₁ 및 기타 비볼록 정규화자들과 비교해 어떻게 되는가?

주요 결과

• 제안된 부분 정규화 모델은 정규화자 φ가 특정 조건을 만족할 경우, 표준 제한된 이성성 성질보다 더 약한 조건에서도 희소 해를 전역적으로 복원한다.
• 모델의 모든 국소 최소화자는 충분히 희소하거나, 모든 비영항목의 크기가 데이터 행렬 A와 벡터 b에만 의존하는 상수 이하로 제한된다.
• FAL-NPG 알고리즘은 전역적으로 1차 정류점으로 수렴하며, 각 프록시멀 하위문제가 닫힌 형태의 해를 갖는 유한 개의 1차원 최적화로 환원된다.
• 압축 감지에서 r = K(비영항목 수)일 경우, ℓ₁ 및 기타 비볼록 정규화자들보다 더 높은 성공 빈도와 낮은 상대 오차를 기록하며, 특히 K ≥ 38일 때 두드러진 성능 향상을 보인다.
• 수치 결과는 제안된 모델이 희소 로지스틱 회귀 및 압축 감지 작업에서 해 품질과 계산 효율성 면에서 ℓ₁ 및 기타 비볼록 정규화자들을 능가함을 보여준다.