[논문 리뷰] Tuning Free Orthogonal Matching Pursuit

Sreejith Kallummil, Sheetal Kalyani|arXiv (Cornell University)|2017. 03. 15.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 3

한 줄 요약

이 논문은 희박 신호 복원 성능이 뛰어나면서도 사전에 희박성 수준 $k_0$ 또는 노이즈 분산 $σ^2$ 를 알 필요가 없는 조정 없는 수직 매칭 추적(TF-OMP) 알고리즘을 제안한다. 잔차 감쇠를 이용해 정지 조건을 동적으로 조정함으로써, 표준 제약 이sov레티 조건과 일致 조건 하에서 강인한 성능을 보장하며, 시뮬레이션 결과에서 오라클 지식을 가진 OMP와 유사한 성능을 달성하면서도 조정에 의존하지 않는다.

ABSTRACT

Orthogonal matching pursuit (OMP) is a widely used compressive sensing (CS) algorithm for recovering sparse signals in noisy linear regression models. The performance of OMP depends on its stopping criteria (SC). SC for OMP discussed in literature typically assumes knowledge of either the sparsity of the signal to be estimated $k_0$ or noise variance $σ^2$, both of which are unavailable in many practical applications. In this article we develop a modified version of OMP called tuning free OMP or TF-OMP which does not require a SC. TF-OMP is proved to accomplish successful sparse recovery under the usual assumptions on restricted isometry constants (RIC) and mutual coherence of design matrix. TF-OMP is numerically shown to deliver a highly competitive performance in comparison with OMP having extit{a priori} knowledge of $k_0$ or $σ^2$. Greedy algorithm for robust de-noising (GARD) is an OMP like algorithm proposed for efficient estimation in classical overdetermined linear regression models corrupted by sparse outliers. However, GARD requires the knowledge of inlier noise variance which is difficult to estimate. We also produce a tuning free algorithm (TF-GARD) for efficient estimation in the presence of sparse outliers by extending the operating principle of TF-OMP to GARD. TF-GARD is numerically shown to achieve a performance comparable to that of the existing implementation of GARD.

연구 동기 및 목표

• 압축 감지에서 OMP가 최적 성능을 내기 위해 희박성 수준 $k_0$ 또는 노이즈 분산 $\sigma^2$ 를 사전에 알 필요가 있다는 이론적 제약을 해결하기 위해.
• 오라클 파rameter나 교차 검증과 같은 계산 비용이 큰 방법에 의존하지 않고도 높은 복원 정확도를 유지하는 조정 없는 알고리즘을 개발하기 위해.
• TF-OMP의 조정 없는 원칙을 GARD와 같은 강건한 회귀 알고리즘으로 확장하여 희박한 이상치에 대한 효율적인 추정을 가능하게 하기 위해.
• 조정 파rameter 없이 표준 RIC 및 상관 조건 하에서 희박 복원에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 잔차 감쇠 기반의 데이터 기반 정지 기준을 사용하여 $k_0$ 또는 $\sigma^2$ 가 필요 없도록 수정된 OMP인 TF-OMP를 제안한다.
• 노이즈 수준과 신호 대 노이즈 비율에 적응하는 잔차 기반 임계값 규칙을 적용하여 $\sigma^2$ 를 명시적으로 추정하지 않도록 한다.
• 이론적 분석을 통해 제약 이sov레티 상수(RIC)와 설계 행렬의 상호 상관도에 대한 표준 가정 하에서 성공적인 희박 복원이 가능하다는 것을 증명한다.
• TF-OMP 원칙을 GARD에 확장하여, 희박한 이상치가 존재하는 환경에서 효율적인 추정이 가능한 조정 없는 알고리즘인 TF-GARD를 제안한다.
• 표준 GARD와 달리 내재된 정상 데이터 노이즈 분산 $σ^2$ 를 요구하지 않는 동적 정지 규칙을 TF-GARD에 도입한다.
• 다양한 SNR, SIR 및 이상치 수를 가진 시뮬레이션 연구를 통해 오라클 및 기존 방법과의 성능를 검증한다.

실험 결과

연구 질문

• RQ1 OMP는 $k_0$ 또는 $\sigma^2$ 를 알지 못한 채 거의 오라클 성능을 달성할 수 있는가?
• RQ2 조정 파rameter 없이 이론적으로 타당한 데이터 기반 정지 기준은 무엇인가?
• RQ3 TF-OMP의 조정 없는 원칙은 GARD와 같은 강건한 회귀 알고리즘으로 확장되어 희박한 이상치를 완화할 수 있는가?
• RQ4 TF-OMP의 성능는 다양한 SNR 및 노이즈 환경에서 오라클 지식을 가진 OMP와 비교해 어떻게 되는가?
• RQ5 TF-GARD는 점점 증가하는 이상치 오염 상황에서 GARD 및 M-추정기와 비교해 얼마나 강인하고, 붕괴점은 어느 정도인가?

주요 결과

• TF-OMP는 $k_0$ 를 오라클로 알고 있는 OMP와 유사한 성능을 보이며, 저SNR 환경에서 고정된 $k_0$ 를 사용하는 표준 OMP보다 뚜렷이 뛰어난 성능을 보인다.
• TF-OMP는 모든 SNR 수준에서 $k_0$ 기반 정지 기준을 사용하는 OMP와 동일한 성능를 보이며, 조정 없이도 강인함을 입증한다.
• TF-GARD는 $σ^2$ 가 알려진 GARD와 거의 동일한 성능를 보이며, 특히 고SNR 및 높은 이상치 수에서 높은 정확도를 유지한다. 이는 노이즈 통계를 전혀 알지 못함에도 불구하고 가능하다.
• TF-GARD는 이상치 비율이 높은 환경에서 M-추정기보다 뛰어난 성능를 보이며, 더 높은 붕괴점과 더 낮은 MSE 성능를 보여준다.
• TF-OMP의 잔차 감쇠 기반 정지 기준은 표준 RIC 및 상관 조건 하에서 성공적인 복원을 보장하며, 조정 파rameter 없이도 이론적 보장을 제공한다.
• CDR 기반 MIMO 검출에서 CDR+TF-OMP는 CDR를 크게 능가하며, $σ^2$ 가 알려지지 않은 실질적 시스템에서 OMP($k_0$)의 성능에 근접함을 입증한다.