[논문 리뷰] RIP-Based Near-Oracle Performance Guarantees for Subspace-Pursuit, CoSaMP, and Iterative Hard-Thresholding

Raja Giryes, Michael Elad|arXiv (Cornell University)|2010. 05. 25.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 12

한 줄 요약

이 논문은 잡음이 있는 희소 신호 복원 맥락에서 CoSaMP, Subspace Pursuit (SP), 및 Iterative Hard-Thresholding (IHT) 알고리즘에 대해 RIP 기반의 근접 오라클 성능 보장을 수립한다. 랜덤 화이트 가우시안 잡음 하에서 평균 제곱오차를 분석함으로써, 이 그레디언트 퇴적 방법들이 Basis Pursuit 및 Dantzig Selector와 같은 리소스 기반 방법들과 유사한 오차 범위를 달성함을 보여주며, 각 알고리즘 고유의 상수와 카디널리티 제약 조건을 포함한다.

ABSTRACT

This paper presents an average case denoising performance analysis for the Subspace Pursuit (SP), the CoSaMP and the IHT algorithms. This analysis considers the recovery of a noisy signal, with the assumptions that (i) it is corrupted by an additive random white Gaussian noise; and (ii) it has a K-sparse representation with respect to a known dictionary D. The proposed analysis is based on the Restricted-Isometry-Property (RIP), establishing a near-oracle performance guarantee for each of these algorithms. The results for the three algorithms differ in the bounds' constants and in the cardinality requirement (the upper bound on $K$ for which the claim is true). Similar RIP-based analysis was carried out previously for the Dantzig Selector (DS) and the Basis Pursuit (BP). Past work also considered a mutual-coherence-based analysis of the denoising performance of the DS, BP, the Orthogonal Matching Pursuit (OMP) and the thresholding algorithms. This work differs from the above as it addresses a different set of algorithms. Also, despite the fact that SP, CoSaMP, and IHT are greedy-like methods, the performance guarantees developed in this work resemble those obtained for the relaxation-based methods (DS and BP), suggesting that the performance is independent of the sparse representation entries contrast and magnitude.

연구 동기 및 목표

• 추가적 화이트 가우시안 잡음 하에서 CoSaMP, SP, 및 IHT의 평균 케이스 디노이징 성능 분석을 제공하기 위해.
• Restricted Isometry Property (RIP)를 사용하여 이전의 리소스 기반 방법들인 Basis Pursuit 및 Dantzig Selector에서 확장된 근접 오라클 성능 보장을 수립하기 위해.
• 그레디언트 퇴적 알고리즘이 희소 신호의 크기나 비트 대비 정도에 관계없이 리소스 기반 방법들과 유사한 성능 경계를 달성함을 보여주기 위해.
• RIP 상수와 잡음 민감도를 바탕으로 오차 경계를 정량화하며, 잡음이 사전 정의된 딕셔너리의 열에 투영된 결과에 명시적인 의존성을 포함하기 위해.

제안 방법

• 실제 희소 신호와 잡음에 대한 추정된 신호의 평균 제곱오차(MSE)를 분석하며, 잡음 분포에 대한 기대값을 취한다.
• 희소 벡터에서 딕셔너리가 등장하는 정도를 제한하기 위해 파rameter $\delta_{4K}$를 사용하는 Restricted Isometry Property (RIP)를 적용한다.
• 잔차 오차를 진짜 신호의 에너지가 추정된 지원 외부에 있는 성분들과 딕셔너리에 대한 잡음 투영의 성분으로 분해하여 오차 경계를 유도한다.
• 삼각 부등식과 RIP 기반 행렬 노름 경계를 적용하여 반복 $\ell$에서의 잔차 오차를 이전 반복의 잔차 및 잡음 항과 연결한다.
• CoSaMP 원본 분석에서의 레이마 4.5와 레이마 4.3을 사용하여 반복 간 잔차 오차의 증가를 제한한다.
• RIP 상수 $\delta_{4K}$와 $\|\mathbf{D}_{T_\mathbf{e}}^* \mathbf{e}\|_2$에 대한 의존성을 포함하여 잔차 오차 $\|\mathbf{r}^{\ell}\|_2$에 대한 재귀적 경계를 수립한다. 여기서 $T_\mathbf{e}$는 잡음 투영의 지지 집합이다.

실험 결과

연구 질문

• RQ1 랜덤 화이트 가우시안 잡음 하에서 CoSaMP, SP, 및 IHT와 같은 그레디언트 퇴적 알고리즘에 대해 RIP 기반 성능 보장을 유도할 수 있는가?
• RQ2 이 그레디언트 방법들의 오차 경계는 Basis Pursuit 및 Dantzig Selector와 같은 리소스 기반 방법들의 오차 경계와 어떻게 비교되는가?
• RQ3 복원 오차는 RIP 상수 $\delta_{4K}$와 잡음 투영 $\|\mathbf{D}_{T_\mathbf{e}}^* \mathbf{e}\|_2$에 대해 어떤 의존성을 가지는가?
• RQ4 그레디언트 알고리즘의 성능 보장은 희소 신호의 비영 성분의 크기나 대비 정도에 의존하는가?
• RQ5 유도된 보장이 성립하는 최대 희소성 수준 $K$는 얼마이며, CoSaMP, SP, 및 IHT 간에 어떻게 다를까?

주요 결과

• CoSaMP 알고리즘은 $\|\mathbf{x} - \hat{\mathbf{x}}_{\text{CoSaMP}}^{\ell}\|_2 \leq \frac{4\delta_{4K}}{(1 - \delta_{4K})^2}\|\mathbf{r}^{\ell-1}\|_2 + \frac{14 - 6\delta_{4K}}{(1 - \delta_{4K})^2}\|\mathbf{D}_{T_\mathbf{e}}^* \mathbf{e}\|_2$의 평균 제곱오차 경계를 달성하며, 이는 근접 오라클 성능 보장을 수립한다.
• SP 및 IHT의 성능 경계는 유사한 구조를 가지며, 상수와 RIP 조건이 성립하는 데 필요한 $K$의 상한 이외에는 유사하다.
• 오차 경계는 희소 신호의 비영 성분의 크기나 대비 정도에 관계없이 오직 RIP 상수 $\delta_{4K}$와 딕셔너리 열에 대한 잡음 투영에 의존한다.
• 분석 결과, 그레디언트 퇴적 알고리즘이 비록 반복적이고 그레디언트 성격을 지니지만, Basis Pursuit 및 Dantzig Selector와 같은 리소스 기반 방법들과 유사한 성능을 달성함을 보여준다.
• 유도된 경계는 $\delta_{4K} < 1$라는 가정 하에 유효하며, 이 경계가 성립하기 위한 카디널리티 요구사항은 IHT의 경우 CoSaMP 및 SP보다 더 엄격하다.
• 잔차 오차는 반복에 따라 기하급수적으로 감소하며, 이는 경계가 $\|\mathbf{r}^{\ell-1}\|_2$에 의존하기 때문이다. 수렴 속도는 $\delta_{4K}$에 의해 결정된다.