[논문 리뷰] A Sharp Restricted Isometry Constant Bound of Orthogonal Matching Pursuit

Qun Mo|arXiv (Cornell University)|2015. 01. 08.

Sparse and Compressive Sensing Techniques참고 문헌 14인용 수 41

한 줄 요약

이 논문은 OMP가 s개의 반복 안에 어떤 s-희소 신호도 정확히 복원할 수 있는 날카운 충분조건을 확립한다: 측정 행렬 A의 제한 이sov레티 상수(RIC) δ_{s+1}(A)가 1/√(s+1)보다 작을 경우, OMP는 성공한다. 이 경계는 날카로우며, 논문은 δ_{s+1}(A) = 1/√(s+1)인 행렬을 구성하여 OMP가 일부 s-희소 신호를 복원하지 못하는 경우를 보여, 알려진 충분조건와 必要조건 사이의 격차를 완전히 메운다.

ABSTRACT

We shall show that if the restricted isometry constant (RIC) $δ_{s+1}(A)$ of the measurement matrix $A$ satisfies $$ δ_{s+1}(A) < \frac{1}{\sqrt{s + 1}}, $$ then the greedy algorithm Orthogonal Matching Pursuit(OMP) will succeed. That is, OMP can recover every $s$-sparse signal $x$ in $s$ iterations from $b = Ax$. Moreover, we shall show the upper bound of RIC is sharp in the following sense. For any given $s \in \N$, we shall construct a matrix $A$ with the RIC $$ δ_{s+1}(A) = \frac{1}{\sqrt{s + 1}} $$ such that OMP may not recover some $s$-sparse signal $x$ in $s$ iterations.

연구 동기 및 목표

• OMP가 s개의 반복 안에 어떤 s-희소 신호도 정확히 복원할 수 있는 데에 있어 알려진 충분조건와 필수조건 사이의 격차를 메우는 것.
• OMP 성공을 보장하는 제한 이sov레티 상수(RIC) δ_{s+1}(A)에 대한 날카운 상한을 확립하는 것.
• δ_{s+1}(A) < 1/√(s+1) 조건이 최적임을 입증하기 위해, δ_{s+1}(A) = 1/√(s+1)이면서 일부 s-희소 신호를 s개의 반복 안에 복원하지 못하는 행렬을 구성하는 것.
• 압축 측정에서 RIP 프레임워크 하에서 OMP의 성능 한계에 대한 이론적 기초를 제공하는 것.

제안 방법

• δ_{s+1}(A) < 1/√(s+1)이면, x의 지지 집합 내 k에 대해 |⟨Ax, Ae_k⟩|의 최대 상관관계가 지지 집합 외부의 k보다 크며, 이는 매 반복에서 OMP가 올바른 색인을 선택함을 보장함을 증명한다.
• t = −(√(s+1)−1)/√s를 사용하여, A(x + t e_k)의 노름 차이 ‖A(x + t e_k)‖² − ‖A(t²x − t e_k)‖²를 다루는 핵심 항등식을 도입하여 RIC와 상관관계 크기 사이의 관계를 설정한다.
• RIP 정의를 적용하여, δ_{s+1}(A)와 매개변수 t에 대한 노름 차이의 하한을 유도한다.
• 특정 (s+1)×(s+1) 행렬 A를 구성하여 δ_{s+1}(A) = 1/√(s+1)를 달성하며, A^T A의 고유값 분석을 통해 이를 실현한다.
• 명시적 구성에 의해, 이 행렬과 첫 s개 성분이 모두 1인 특정 s-희소 신호 x에 대해, 모든 열이 Ax와 동일한 상관관계 |⟨Ax, Ae_k⟩|을 가지므로 OMP가 첫 번째 반복에서 잘못된 색인을 선택할 수 있음을 보여준다.
• 귀납법과 직교 투영 성질을 적용하여, 올바른 지지 집합이 초기에 선택되지 않으면 OMP가 s개의 반복 안에 x를 복원하지 못할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 OMP가 정확히 s개의 반복 안에 어떤 s-희소 신호도 복원할 수 있도록 보장하는 제한 이sov레티 상수 δ_{s+1}(A)에 대한 가장 날카운 상한은 무엇인가?
• RQ2 조건 δ_{s+1}(A) < 1/√(s+1)는 최적인가, 아니면 더 향상시킬 수 있는가?
• RQ3 δ_{s+1}(A) = 1/√(s+1)이지만 OMP가 일부 s-희소 신호를 s개의 반복 안에 복원하지 못하는 행렬을 구성할 수 있는가?
• RQ4 제안된 경계는 이전 문헌의 결과들, 예를 들어 δ_{s+1}(A) < 1/(√s + 1) 또는 δ_s(A) + √s δ_{s+1}(A) < 1과 비교해 어떻게 다를까?

주요 결과

• 조건 δ_{s+1}(A) < 1/√(s+1)는 OMP가 어떤 s-희소 신호도 정확히 s개의 반복 안에 복원할 수 있도록 충분하다.
• 경계 δ_{s+1}(A) < 1/√(s+1)는 날카로우며, δ_{s+1}(A) = 1/√(s+1)인 행렬이 존재하여 일부 s-희소 신호를 s개의 반복 안에 복원하지 못하는 경우가 있음을 보여, 이는 경계가 최적임을 입증한다.
• 구성된 행렬 A는 (s+1)×(s+1) 차원이며, s개의 열은 √(s/(s+1))로 스케일링되고, 하나의 추가 열은 모든 성분이 1/√(s(s+1))이며, 알려진 고유값을 가진 구조적 행렬을 이룬다.
• 구성된 신호 x = (1,1,…,1,0)^T에 대해, A의 모든 s+1개 열이 Ax와 동일한 상관관계 |⟨Ax, Ae_k⟩|을 가지므로, OMP는 첫 번째 반복에서 잘못된 색인을 선택할 수 있다.
• 구성된 행렬의 RIC는 정확히 δ_{s+1}(A) = 1/√(s+1)이며, A^T A의 고유값을 계산하여 1±1/√(s+1)과 s/(s+1)로 확인된다.
• 증명은 OMP 선택에 필요한 상관관계 우세성과 RIC를 연결하는, 편향된 신호에 대해 A의 노름 차이를 다루는 새로운 항등식에 기반한다.