[논문 리뷰] PARNES: A rapidly convergent algorithm for accurate recovery of sparse and approximately sparse signals

Ming Gu, Lek‐Heng Lim외 1명|arXiv (Cornell University)|2009. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 5

한 줄 요약

이 논문은 Nesterov의 가속화된 프록시멀 그래디언트 방법을 동적 프록-센터 갱신으로 개선하여 희박성과 약간의 희박성 있는 신호를 신속하고 정확하게 복원하는 데 전용된 새로운 알고리즘 PARNES를 소개한다. 이 방법은 제약 이완 조건과 희박성 가정 하에 국소적으로 선형 수렴을 달성하며, 파레토 근 찾기와 통합되었을 때 기저 추적 노이즈 제거 문제에서 최신 기술 수준의 성능을 도달하거나 초월한다.

ABSTRACT

In this article, we propose an algorithm, NESTA-LASSO, for the LASSO problem, i.e., an underdetermined linear least-squares problem with a 1-norm constraint on the solution. We prove under the assumption of the restricted isometry property (RIP) and a sparsity condition on the solution, that NESTA-LASSO is guaranteed to be almost always locally linearly convergent. As in the case of the algorithm NESTA proposed by Becker, Bobin, and Candes, we rely on Nesterov's accelerated proximal gradient method, which takes O(e^{-1/2}) iterations to come within e > 0 of the optimal value. We introduce a modification to Nesterov's method that regularly updates the prox-center in a provably optimal manner, and the aforementioned linear convergence is in part due to this modification. In the second part of this article, we attempt to solve the basis pursuit denoising BPDN problem (i.e., approximating the minimum 1-norm solution to an underdetermined least squares problem) by using NESTA-LASSO in conjunction with the Pareto root-finding method employed by van den Berg and Friedlander in their SPGL1 solver. The resulting algorithm is called PARNES. We provide numerical evidence to show that it is comparable to currently available solvers.

연구 동기 및 목표

• 부분적으로 결정된 선형 시스템에서 희박성과 약간의 희박성 있는 신호를 효율적이고 정확하게 복원하는 문제에 대응한다.
• NESTA와 SPGL1와 같은 기존 솔버들을 개선하여 희박성 복원에서 수렴 속도와 정확도를 향상시킨다.
• 기본 가정 하에 국소적으로 선형 수렴을 보장하는 라소 문제를 위한 증명 가능하게 수렴하는 알고리즘을 개발한다.
• 향상된 라소 솔버를 파레토 근 찾기 프레임워크에 통합하여 기저 추적 노이즈 제거(BPDN) 문제를 효과적으로 해결한다.

제안 방법

• 고정된 중심 대신 매 K회 반복마다 프록-센터를 동적으로 갱신하는 Nesterov의 가속화된 프록시멀 그래디언트 방법을 개선한 nesta-lasso를 제안한다.
• 제약 이완 조건(RIP)의 2s차 수준과 s-희박해진 해를 가정할 때, nesta-lasso가 거의 항상 국소적으로 선형 수렴을 달성함을 증명한다.
• 수렴 속도와 안정성을 보장하는 프록-센터 갱신에 최적의 K 값을 유도한다.
• SPGL1에서 사용하는 파레토 근 찾기 방법에 nesta-lasso를 통합하여 BPDN 문제를 해결하기 위한 PARNES 알고리즘을 구축한다.
• 알고리즘에서 리프시츠 상수 L과 정밀도 η를 고정하여 단순성과 강건성을 확보한다. 적응형 선색색색을 피한다.
• 이중성과 볼록 이완을 활용하여 노이즈 제약 조건 하에서 희박성 복원과 등가인 l1-최소화 문제를 해결한다.

실험 결과

연구 질문

• RQ1 Nesterov 방법에서 동적 프록-센터 갱신이 희박성 복원에서 수렴 속도와 정확도를 크게 향상시킬 수 있는가?
• RQ2 수정된 Nesterov 방법(nesta-lasso)이 어떤 조건에서 희박해진 해에 대해 국소적으로 선형 수렴을 달성하는가?
• RQ3 PARNES의 성능은 SPGL1, FPC, GPSR와 같은 최신 기술 수준의 솔버들과 비교해 복원된 희박성 및 약간의 희박성 있는 신호에서 어떻게 되는가?
• RQ4 가속화된 프록시멀 그래디언트 방법과 파레토 근 찾기의 조합이 강건하고 효율적인 BPDN 솔버를 제공할 수 있는가?
• RQ5 수렴 속도와 안정성의 균형을 고려할 때 프록-센터 갱신의 최적 빈도(K)는 무엇인가?

주요 결과

• PARNES는 SPGL1 및 FPC-AS와 같은 최신 기술 수준의 솔버들과 비교해 유사한 성능을 보이며, 다양한 노이즈 수준에서 일관되게 낮은 반복 횟수를 기록한다.
• 100 dB SNR 신호에서 PARNES는 평균 562회 반복을 필요로 하였으며, NESTA(15,227회)와 FISTA(12,462회)를 모두 능가하였다.
• 가우시안 노이즈(분산 1)가 첨가된 약간의 희박성 있는 신호 실험에서 PARNES는 평균 1,038회 반복을 필요로 하였으며, SPGL1(1,115회)과 FPC-AS(159회)를 모두 능가하였다.
• 알고리즘이 여러 시행에 걸쳐 강건성을 보이며, 반복 횟수의 분산이 낮고 다양한 노이즈 수준에서 일관된 성능을 유지한다.
• nasta-lasso의 동적 프록-센터 갱신 메커니즘은 고정 중심 버전보다 증명 가능한 더 빠른 수렴을 이끌어내며, 특히 RIP 조건 하에서 두드러진다.
• 고정된 L과 η를 사용함에도 불구하고 PARNES는 뛰어난 성능을 기록하여, 적응형 선색색색이 높은 정확도와 속도를 확보하는 데 필수적인 것은 아님을 시사한다.