[논문 리뷰] Fast Algorithms for Sparse Recovery with Perturbed Dictionary

Xuebing Han, Hao Zhang외 1명|arXiv (Cornell University)|2011. 11. 27.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 7

한 줄 요약

이 논문은 측정값과 사전 행렬에 모두 편향이 존재하는 과소정의 선형 시스템에서 희소 복원을 위한 빠르고 안정적인 알고리즘인 TLS-FOCUSS와 SD-FOCUSS를 제안한다. 총 최소 제곱법(TLS)과 FOCUSS 프레임워크를 결합함으로써, 낮은 계산 비용으로 near-optimal 성능를 달성하며, S-TLS와 같은 기존 방법들보다 빠르고 정확하게 성능을 뛰어넘고도 수렴 보장을 유지한다.

ABSTRACT

In this paper, we account for approaches of sparse recovery from large underdetermined linear models with perturbation present in both the measurements and the dictionary matrix. Existing methods have high computation and low efficiency. The total least-squares (TLS) criterion has well-documented merits in solving linear regression problems while FOCal Underdetermined System Solver (FOCUSS) has low-computation complexity in sparse recovery. Based on TLS and FOCUSS methods, the present paper develops more fast and robust algorithms, TLS-FOCUSS and SD-FOCUSS. TLS-FOCUSS algorithm is not only near-optimum but also fast in solving TLS optimization problems under sparsity constraints, and thus fit for large scale computation. In order to reduce the complexity of algorithm further, another suboptimal algorithm named D-FOCUSS is devised. SD-FOCUSS can be applied in MMV (multiple-measurement-vectors) TLS model, which fills the gap of solving linear regression problems under sparsity constraints. The convergence of TLS-FOCUSS algorithm and SD-FOCUSS algorithm is established with mathematical proof. The simulations illustrate the advantage of TLS-FOCUSS and SD-FOCUSS in accuracy and stability, compared with other algorithms.

연구 동기 및 목표

• 측정값과 사전 행렬 양쪽에 모두 편향이 존재할 경우 효율적인 희소 복원 알고리즘이 부족한 문제를 해결하기 위해.
• FOCUSS의 낮은 계산 복잡도와 빠른 수렴 특성을 유지하면서도 편향에 대한 강건성을 향상시키기 위해.
• 총 최소 제곱법(TLS)의 최적성과 FOCUSS의 반복적 재가중 기법을 결합하여 희소 복원을 위한 방법을 개발하기 위해.
• 다중 측정 벡터(MMV) 모델로 프레임워크를 확장하여 더 넓은 신호 복원 응용 분야에 적용 가능하게 하기 위해.
• 기존 방법들인 S-TLS와 표준 FOCUSS와의 성능 향상을 입증하기 위해 이론적 수렴 증명과 실증적 검증을 제공하기 위해.

제안 방법

• 측정값과 사전 행렬의 편향을 모두 포함하는 정규화된 목적 함수를 도출하기 위해 베이지안 MAP 추정 프레임워크를 활용하여 희소 복원 문제를 수립한다.
• FOCUSS 프레임워크에 기반한 반복적 재가중 알고리즘을 유도하며, 해의 희소성을 촉진하기 위해 가중치를 반복적으로 갱신한다.
• FOCUSS 반복에 총 최소 제곱법 기준을 통합하여 TLS-FOCUSS를 제안하며, 데이터와 사전 행렬 양쪽의 오차를 동시에 최소화한다.
• 계산 비용을 줄이기 위해 업데이트 규칙을 단순화한 하위 최적 해법인 SD-FOCUSS를 제안하여 MMV 환경에서의 효율적 활용을 가능하게 한다.
• 측정값과 사전 행렬의 편향에 대한 표준 가정 하에 TLS-FOCUSS와 SD-FOCUSS의 수학적 수렴 증명을 수립한다.
• 단일 측정 벡터(SMV) 및 다중 측정 벡터(MMV) 모델에 모두 알고리즘을 적용하여, 다양한 신호 대 잡음비(SNR)와 희소 수준에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 측정 벡터와 사전 행렬 양쪽에 편향이 존재할 경우를 고려한 빠르고 안정적인 희소 복원 알고리즘을 개발할 수 있는가?
• RQ2 총 최소 제곱법(TLS)을 FOCUSS 프레임워크와 융합함으로써 표준 FOCUSS나 S-TLS에 비해 정확도와 수렴 속도 측면에서 성능 향상이 이루어지는가?
• RQ3 제안된 알고리즘이 다양한 신호 대 잡음비와 희소 수준에서도 안정성과 정확성을 유지할 수 있는가?
• RQ4 SD-FOCUSS 변종이 MMV 환경에서 계산 효율성과 복원 정확성 사이의 타협 가능성을 제공하는가?
• RQ5 편향이 존재하는 선형 모델 하에서 제안된 반복적 알고리즘의 이론적 수렴 거동은 어떠한가?

주요 결과

• TLS-FOCUSS는 S-TLS보다 훨씬 빠른 계산 속도를 보이며, 128×512 문제에서 평균 실행 시간을 5초 이상에서 0.6초 이하로 감소시켜 near-optimal 복원 성능를 달성한다.
• SD-FOCUSS는 계산 복잡도를 추가로 감소시켜 동일한 설정에서 평균 실행 시간을 0.3초로 줄여 대규모 응용에 적합하게 한다.
• 단일 측정 벡터(SMV) 환경에서는 TLS-FOCUSS와 SD-FOCUSS가 표준 FOCUSS와 S-TLS보다 성공률과 RMSE 측면에서 뛰어나며, 특히 저 SNR에서 두드러진다.
• 다중 측정 벡터(MMV) 환경에서는 SD-FOCUSS가 MMV FOCUSS, 정규화된 MMV FOCUSS, MMV OMP보다 높은 성공 확률과 낮은 MSE를 달성하며, 관측 벡터 수(L)가 증가할수록 그 성능 향상이 두드러진다.
• 제안된 반복적 프레임워크 하에서 TLS-FOCUSS와 SD-FOCUSS의 수렴성이 수학적으로 증명되어 반복 과정 전반에 걸쳐 안정적인 성능 보장을 받는다.
• SNR = 15 dB이고 k/m = 0.5일 때, TLS-FOCUSS는 95% 이상의 성공률를 기록하는 반면 S-TLS는 오직 80%에 그쳐 훨씬 뛰어난 강건성을 입증한다.