[논문 리뷰] Random Sampling of Sparse Trigonometric Polynomials II - Orthogonal Matching Pursuit versus Basis Pursuit

Stefan Kunis, Holger Rauhut|ArXiv.org|2006. 04. 19.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 적은 수의 랜덤 샘플에서 희박한 다변량 삼각다항식을 복원하기 위해 Basis Pursuit (BP)와 그레디 알고리즘인 수직 매칭 퇴적법 (OMP) 및 임계값 설정법을 비교한다. 연속적이고 이산적인 샘플링 모델 하에서 OMP와 임계값 설정법의 이론적 성공 확률을 수립하며, OMP가 BP와 유사한 복원률을 달성하지만 훨씬 더 빠른 계산 속도를 보임을 보여주어 실용적으로 더 바람직하다는 것을 밝힌다. 비록 복원 보증이 균일하지 않지만 말이다.

ABSTRACT

We investigate the problem of reconstructing sparse multivariate trigonometric polynomials from few randomly taken samples by Basis Pursuit and greedy algorithms such as Orthogonal Matching Pursuit (OMP) and Thresholding. While recovery by Basis Pursuit has recently been studied by several authors, we provide theoretical results on the success probability of reconstruction via Thresholding and OMP for both a continuous and a discrete probability model for the sampling points. We present numerical experiments, which indicate that usually Basis Pursuit is significantly slower than greedy algorithms, while the recovery rates are very similar.

연구 동기 및 목표

• 랜덤 샘플에서 희박한 삼각다항식을 복원할 때 수직 매칭 퇴적법 (OMP)과 임계값 설정법의 이론적 성공 확률을 분석하는 것.
• 복원 성공률과 계산 효율성 측면에서 OMP, 임계값 설정법, 그리고 Basis Pursuit (BP)의 성능을 비교하는 것.
• 그레디 알고리즘인 OMP가 비록 비균일한 성격을 지니고 있지만, BP와 유사한 균일한 복원 보증을 달성할 수 있는지 조사하는 것.
• 노이즈 하에서 OMP의 안정성과 고주파 성분 또는 가까이 있는 성분을 정확히 복원할 수 있는 능력 평가.
• 속도와 정확도가 중요한 실세계 적용 분야에서 OMP의 실용 가능성 평가.

제안 방법

• 랜덤 푸리에 행렬의 일관성 매개변수를 사용하여 OMP와 임계값 설정법의 이론적 분석을 통해 성공 확률의 경계를 도출하는 것.
• 연속적인 초입방체 $[0,2\theta]^d$ 내의 랜덤 샘플링 점들과 이산 격자 위에서 제한된 이sovolumetric 성질(RIP) 프레임워크의 적응.
• 효율성을 위해 비균일 샘플링 빠른 푸리에 변환(NFFT)과 빠른 최소제곱 해법(LSQR)을 사용하여 OMP를 구현하는 것.
• 비교를 위해 볼록 최적화 솔버(MOSEK, CVX, L1MAGIC)를 사용한 Basis Pursuit의 구현과 함께 FFT 및 NFFT 가속 기법 사용.
• 균일 및 비균일 샘플링을 사용하여 차원 $D$, 희박성 $M$, 샘플 수 $N$ 이 varying된 합성 신호에 대한 수치 실험.
• 가우시안 노이즈를 첨가하여 샘플을 오염시키고 계수 복원 오차 및 지지집합 정확도를 측정함으로써 노이즈에 대한 내성 평가.

실험 결과

연구 질문

• RQ1 랜덤 샘플에서 희박한 삼각다항식을 복원할 때 OMP와 임계값 설정법의 이론적 성공 확률은 무엇인가?
• RQ2 유사한 샘플링 조건과 희박성 수준에서 OMP와 BP의 복원률은 어떻게 비교되는가?
• RQ3 OMP는 모든 희박한 삼각다항식에 대해 균일한 복원 보증을 달성할 수 있는가, 아니면 특정 신호에 국한되어 성공하는가?
• RQ4 FFT 및 NFFT와 같은 빠른 변환 기법을 활용할 경우, OMP의 계산 복잡도는 BP에 비해 어떻게 비교되는가?
• RQ5 OMP는 노이즈 하에서도 안정적인가, 그리고 샘플이 오염되었을 때 진짜 지지집합과 계수를 정확히 복원할 수 있는가?

주요 결과

• OMP는 낮은 오버샘플링 비율 $N/M$ 조건에서도 일반 신호에 대해 BP와 유사한 복원 성공률을 달성한다.
• 비균일한 복원 보증이 있음에도 불구하고 OMP는 임계값 설정법을 능가하고, 특히 지지집합 복원 정확도 측면에서 BP와 유사한 성능을 보인다.
• OMP는 BP보다 훨씬 빠르며, 특히 LSQR 및 NFFT와 같은 빠른 해법을 활용할 경우 대규모 문제에 더 적합하다.
• 수치 실험 결과, OMP는 오직 60개의 랜덤 샘플로도 $\{-2^{18}, \dots, 2^{18}-1\}$ 범위 내에서 최대 10개의 주파수를 복원할 수 있음을 확인하였다.
• OMP는 중간 수준의 노이즈 하에서도 안정성을 보이며, SNR가 약 15.6 dB일 때에도 진짜 지지집합을 정확히 식별하고 작은 계수 오차를 생성한다.
• 이론적 분석 결과, OMP의 첫 번째 단계에 대한 일관성 기반 성공 확률은 비잔연하지만, 확률적 종속성으로 인해 전체 수렴 분석은 아직 열려 있다.