[논문 리뷰] Orthogonal Matching Pursuit with Thresholding and its Application in Compressive Sensing

Mingrui Yang, Frank de Hoog|arXiv (Cornell University)|2013. 07. 08.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 압축 측정에서 계산 비용이 높은 탐욕적 선택 단계를 임계값 전략으로 대체하는 덜 탐욕적인 희소 신호 복원 알고리즘인 임계값을 적용한 수직 매칭 추적(OMPT)을 제안한다. 전역 2-일관성(global 2-coherence)과 제약 이sovolumetric 성질(RIP)을 사용하여, 동일한 일관성과 RIP 가정 하에서 표준 OMP와 동일한 복원 성능을 달성하지만, 계산 복잡도는 크게 감소시킨다.

ABSTRACT

Greed is good. However, the tighter you squeeze, the less you have. In this paper, a less greedy algorithm for sparse signal reconstruction in compressive sensing, named orthogonal matching pursuit with thresholding is studied. Using the global 2-coherence , which provides a "bridge" between the well known mutual coherence and the restricted isometry constant, the performance of orthogonal matching pursuit with thresholding is analyzed and more general results for sparse signal reconstruction are obtained. It is also shown that given the same assumption on the coherence index and the restricted isometry constant as required for orthogonal matching pursuit, the thresholding variation gives exactly the same reconstruction performance with significantly less complexity.

연구 동기 및 목표

• 희소 신호 복원에서 계산 비용을 줄이는 덜 탐욕적인 OMP의 대안을 개발하기 위해.
• 상호 일관성과 제약 이sovolumetric 상수 사이의 다리를 놓는 전역 2-일관성 지표를 사용하여, 제안된 임계값 기반 알고리즘의 성능을 분석하기 위해.
• OMPT가 상호 일관성과 RIP에 대한 동일한 가정 하에서 OMP와 동일한 복원 정확도를 달성함을 보여주기 위해.
• 노이즈가 있는 경우와 없는 경우 모두에 대해 복원 오차와 수렴에 대한 이론적 경계를 설정하기 위해.
• k-희소 신호에 대해 k 반복 이내에 정확한 지원 복원을 유지하면서도 OMP보다 훨씬 낮은 복잡도를 유지함을 보여주기 위해.

제안 방법

• OMPT는 OMP의 탐욕적 선택 단계—잔차와의 내적 값이 가장 큰 원소를 선택하는 것—를 잔차 노름 기반의 임계값 규칙으로 대체한다.
• 각 반복에서 알고리즘은 잔차 노름을 한 번만 계산하고, 이 노름의 일부 비율을 기준으로 한 임계값을 설정하며, 잔차와의 내적 값이 이 임계값을 초과하는 원소들만 선택한다.
• 선택된 원소들이 생성하는 부분공간에 대해 수직 투영을 수행하여 신호 근사치를 갱신함으로써 원소의 중복 선택을 방지한다.
• 전역 2-일관성은 상호 일관성과 제약 이sovolumetric 상수 사이의 관계를 분석하는 이론적 도구로 사용되며, 더 엄밀한 성능 분석을 가능하게 한다.
• 소음 존재 하에서 복원 오차의 경계를 유도하기 위해 모레-펜로즈 의사역행렬을 활용하며, 부분사전의 최소 특이값을 사용한다.
• 수렴 분석은 잔차 노름의 기하급수적 감소 경계를 유도함으로써 수행되며, 적절하게 선택된 임계값 $t$에 대해 각 반복에서 잔차가 $\sqrt{1 - t^2}$의 비율로 감소함을 보여준다.

실험 결과

연구 질문

• RQ1 OMP의 임계값 기반 변종이 계산 비용을 줄이면서도 표준 OMP와 동일한 희소 신호 복원 성능을 달성할 수 있는가?
• RQ2 전역 2-일관성의 사용이 압축 측정에서 탐욕적 알고리즘의 이론적 분석을 어떻게 향상시키는가?
• RQ3 임계값 파rameter 선택이 노이즈가 있는 경우와 없는 경우 모두에서 OMPT의 수렴과 정확도에 어떤 영향을 미치는가?
• RQ4 OMPT가 어떤 조건에서 k-희소 신호의 정확한 지원을 정확히 k번의 반복 내에 복원할 수 있는가?
• RQ5 제약 이sovolumetric 성질과 부분사전의 최소 특이값을 사용하여 OMPT의 복원 오차를 경계할 수 있는가?

주요 결과

• OMPT는 상호 일관성과 제약 이sovolumetric 상수(RIC)에 대한 동일한 가정 하에서 Theorem III.1과 Theorem III.5에서 증명된 lin, OMP와 정확히 동일한 복원 성능을 달성한다.
• OMPT를 사용한 성공적인 복원을 위한 RIC에 대한 경계는 OMP에 대해 알려진 최고의 경계와 동일하며, Corollary III.2에서 이를 보여준다.
• 노이즈가 없는 경우, 적절하게 최적화된 임계값 파rameter를 사용할 경우 OMPT는 정확히 k번의 반복 내에 k-희소 신호의 정확한 지원을 복원한다.
• 노이즈가 있는 경우, 복원 오차는 $\|\hat{a}_{\text{ompt}} - a\|_2 \leq \epsilon / \sigma_{\text{min}}$로 경계되며, 여기서 $\sigma_{\text{min}}$는 부분사전의 최소 특이값이다.
• 잔차 노름은 $\|r_k\| \leq (1 - t^2)^{k/2} \|f\|$로 기하급수적으로 감소하며, 정지 기준 $\|r_m\| \leq t\|f\|$ 하에서 수렴이 $m \leq \frac{2\ln t}{\ln(1 - t^2)}$ 반복 이내에 보장된다.
• OMPT는 각 반복에서 모든 내적 값을 전부 계산하는 것을 피함으로써 계산 복잡도를 감소시키며, 대신 단일한 잔차 노름 계산과 임계값 비교에 의존한다.