[논문 리뷰] Alternating Direction Algorithms for $\ell_1$-Problems in Compressive Sensing

Junfeng Yang, Yin Zhang|ArXiv.org|2009. 12. 07.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 776

한 줄 요약

이 논문은 압축 측정 기반 $\alpha$-노름 최소화 문제, 예를 들어 기저 추적과 노이즈 제거 문제를 해결하기 위해 보조 변수와 제약 조건을 도입하여 부분적으로 분리 가능한 형태로 재구성한 후, 정확하거나 비정확한 ADM(교차 방향 방법)을 적용하여, 첫 번째 순서의 원본-쌍대 알고리즘을 제안한다. 이러한 알고리즘은 특히 노이즈가 있는 조건에서 빠르고 안정적이며 강건한 수렴성을 달성하며, 상대 오차 감소와 반복 효율성 면에서 최신 기술보다 뛰어나다.

ABSTRACT

In this paper, we propose and study the use of alternating direction algorithms for several $\ell_1$-norm minimization problems arising from sparse solution recovery in compressive sensing, including the basis pursuit problem, the basis-pursuit denoising problems of both unconstrained and constrained forms, as well as others. We present and investigate two classes of algorithms derived from either the primal or the dual forms of the $\ell_1$-problems. The construction of the algorithms consists of two main steps: (1) to reformulate an $\ell_1$-problem into one having partially separable objective functions by adding new variables and constraints; and (2) to apply an exact or inexact alternating direction method to the resulting problem. The derived alternating direction algorithms can be regarded as first-order primal-dual algorithms because both primal and dual variables are updated at each and every iteration. Convergence properties of these algorithms are established or restated when they already exist. Extensive numerical results in comparison with several state-of-the-art algorithms are given to demonstrate that the proposed algorithms are efficient, stable and robust. Moreover, we present numerical results to emphasize two practically important but perhaps overlooked points. One point is that algorithm speed should always be evaluated relative to appropriate solution accuracy; another is that whenever erroneous measurements possibly exist, the $\ell_1$-norm fidelity should be the fidelity of choice in compressive sensing.

연구 동기 및 목표

• 압축 측정에서 발생하는 $\ell_1$-최소화 문제를 해결하기 위한 효율적이고 안정적이며 강건한 제1차 알고리즘을 개발하는 것.
• 노이즈 또는 손상된 측정값이 있는 과소정의 선형 시스템으로부터 희박한 신호를 복원하는 과제를 다루는 것.
• 수렴 속도와 해의 정확도 측면에서 기존 최신 기술적 솔버들보다 제안된 ADM 기반 알고리즘이 뛰어나다는 것을 입증하는 것.
• 오류가 있는 측정값이 존재할 경우 $\ell_1$-노름 적합성의 중요성을 강조하며, 제곱 $\ell_2$-노름보다 이를 사용할 것을 주장하는 것.
• 기저 추적, 노이즈 제거 변형, 비음성 대응 등 다양한 $\ell_1$-문제에 적용 가능한 통합 프레임워크를 제공하는 것.

제안 방법

• $\ell_1$-문제를 보조 변수와 제약 조건을 도입하여 부분적으로 분리 가능한 형태로 재구성하는 것.
• 증강 라그랑주 함수와 교대 최소화를 사용하여 재구성된 문제에 대해 교차 방향 방법(ADM)을 적용하는 것.
• 각 반복 단계에서 원본 및 쌍대 변수를 갱신하는 원본 기반 및 쌍대 기반 알고리즘 두 종류를 유도하는 것.
• ADM 프레임워크 내에서 정확하거나 비정확한 하위문제 해결을 사용하며, 반복당 비용이 주로 두 번의 행렬-벡터 곱셈에 의해 지배되는 것.
• 감지 행렬 $A$가 정규직교일 경우 쌍대 기반 ADM을 정확한 방법으로 구현하여 효율성을 향상시키는 것.
• 비음성 변형을 포함한 여덟 가지의 $\ell_1$-모델을 위한 알고리즘을 구현하기 위해 MATLAB 패키지 YALL1을 개발한 것.

실험 결과

연구 질문

• RQ1 ADM 프레임워크에서 유도된 제1차 원본-쌍대 알고리즘이 기존 최신 기술보다 압축 측정의 $\ell_1$-문제에서 더 빠르고 안정적인 수렴을 달성할 수 있는가?
• RQ2 실제 응용에서 다양한 노이즈 수준과 정지 허용 오차 조건 하에서 제안된 ADM 알고리즘의 성능은 어떻게 변화하는가?
• RQ3 측정값에 오류가 포함되어 있을 경우 왜 $\ell_1$-노름 적합성 항이 $\ell_2$-노름 적합성보다 더 효과적인가?
• RQ4 알고리즘 파라미터가 수렴과 해의 정확도에 미치는 영향은 무엇이며, 다양한 문제 사례에서 강건성을 유지하기 위해선 어떻게 해야 하는가?
• RQ5 ADM 프레임워크는 행렬 질량 최소화나 총 변동성 정규화와 같은 다른 $\ell_1$-유사 정규화 문제로 일반화될 수 있는가?

주요 결과

• 제안된 ADM 알고리즘은 FPC-BB, SpaRSA, FISTA, CGD, SPGL1, NESTA 등과 비교해 노이즈가 있는 테스트 문제에서 더 빠른 수렴 속도와 더 낮은 상대 오차를 달성한다.
• 특히 $A$가 정규직교일 경우 쌍대 기반 ADM 알고리즘이 원본 기반 알고리즘보다 일반적으로 더 효율적이며, 정확한 하위문제 해결 덕분이다.
• 알고리즘은 모델 및 알고리즘 파라미터의 변화에 강건하여 다양한 문제 설정에서 일관된 성능을 보인다.
• 노이즈가 있는 조건에서 제안된 알고리즘은 정확도가 매우 높은 해를 얻을 수 있으며, 높은 정확도가 요구되지 않는 경우에도 다른 방법들을 능가한다.
• 문제 (6)에서의 $\ell_1$-노름 적합성은 정확한 페널티 방법으로 작용하며, $\nu$가 임계값 이하일 경우 기저 추적으로 축소되어 오류가 있는 측정값에 매우 적합하다.
• YALL1 MATLAB 패키지는 여덟 가지 $\ell_1$-모델에 대해 알고리즘을 성공적으로 구현하여 광범위한 적용 가능성과 실용적 유용성을 입증한다.