[논문 리뷰] The performance of orthogonal multi-matching pursuit under RIP

Zhiqiang Xu|arXiv (Cornell University)|2012. 10. 19.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 16

한 줄 요약

이 논문은 측정 행렬이 $(9s, 1/10)$-RIP를 만족할 경우, 고정된 매개변수 $M_0 \leq 8$를 가진 직교 다중매칭 추적(OMMP)이 $s$-희박 신호를 정확히 $s$ 반복 이내로 복원할 수 있음을 입증한다. 천천히 감쇠하는 신호의 경우, OMMP에서 $M = s^a$ ($a \in [0, 1/2]$)를 사용할 경우 $O(s^{1-a})$ 반복 내에 복원이 가능하여 OMP에 비해 계산 복잡도를 크게 감소시킨다.

ABSTRACT

The orthogonal multi-matching pursuit (OMMP) is a natural extension of orthogonal matching pursuit (OMP). We denote the OMMP with the parameter $M$ as OMMP(M) where $M\geq 1$ is an integer. The main difference between OMP and OMMP(M) is that OMMP(M) selects $M$ atoms per iteration, while OMP only adds one atom to the optimal atom set. In this paper, we study the performance of orthogonal multi-matching pursuit (OMMP) under RIP. In particular, we show that, when the measurement matrix A satisfies $(9s, 1/10)$-RIP, there exists an absolutely constant $M_0\leq 8$ so that OMMP(M_0) can recover $s$-sparse signal within $s$ iterations. We furthermore prove that, for slowly-decaying $s$-sparse signal, OMMP(M) can recover s-sparse signal within $O(\frac{s}{M})$ iterations for a large class of $M$. In particular, for $M=s^a$ with $a\in [0,1/2]$, OMMP(M) can recover slowly-decaying $s$-sparse signal within $O(s^{1-a})$ iterations. The result implies that OMMP can reduce the computational complexity heavily.

연구 동기 및 목표

• 측정 행렬의 RIP 상수에 상한이 존재할 때, 고정된 $M_0$가 존재하여 OMMP($M_0$)가 $(9s, 1/10)$-RIP 조건 하에 모든 $s$-희박 신호를 정확히 $s$ 반복 이내로 복원할 수 있는지 여부를 규명하는 것.
• 천천히 감쇠하는 $s$-희박 신호에 대해 OMMP에서 반복 수와 선택 매개변수 $M$ 사이의 상호 상관 관계를 분석하는 것.
• RIP 상수를 $s$에 따라 스케일링되지 않는 절대 상수로 설정한 더 자연스러운 RIP 조건 하에서 OMMP에 대한 이론적 보장을 수립하는 것.

제안 방법

• 각 반복에서의 오차 감소를 제한하기 위해, $9s$-희박 신호에 대해 고정된 상수 $\delta = 1/10$를 갖는 제한된 이sovoleency 성질(RIP)을 사용한다.
• 신호의 잔여 성분 에너지와 잔여 벡터 노름 감소 간의 관계를 유도하기 위해 핵심 부등식을 도출하며, 이는 RIP와 신호의 감쇠 성질을 활용한다.
• 유도적 증명을 통해, 신호가 $\alpha$-감쇠성일 경우 $\alpha > \sqrt{(1+\delta_s)/(2 - (1+\delta_s)^2)}$를 만족할 때, 추정된 신호의 지지 집합 $\Lambda^\ell$이 진짜 신호의 지지 집합 $\mathbf{x}$ 내에 유지됨을 보여준다.
• 정확한 원소 선택이 이루어질 경우 잔여 노름 $\|\mathbf{y} - A\mathbf{x}^\ell\|_2^2$를 유한하게 제한하고 기하급수적으로 감소함을 보여주는 증명을 수행한다.
• 알고리즘은 현재 잔여 벡터와의 상관관계가 가장 큰 $M$개의 원소를 선택한 후, 선택된 지지 집합에서 최소제곱 갱신을 수행한다.
• 선택된 지지 집합에서 최소제곱 해가 정확히 진짜 신호를 복원하기 위해, 스파크 조건과 선형 독립성 조건을 사용한다.

실험 결과

연구 질문

• RQ1 $(9s, 1/10)$-RIP 조건 하에, 모든 $s$-희박 신호를 정확히 $s$ 반복 이내로 복원할 수 있는 절대 상수 $M_0 \leq 8$가 존재하는가?
• RQ2 $M = s^a$ ($a \in [0, 1/2]$)일 때, OMMP가 천천히 감쇠하는 $s$-희박 신호를 $O(s^{1-a})$ 반복 이내로 복원할 수 있는가?
• RQ3 RIP 상수가 $s$에 따라 스케일링되지 않는 절대 상수일 경우, $s$-희박 신호를 복원하기 위해 필요한 최소 반복 수는 얼마인가?

주요 결과

• 측정 행렬이 $(9s, 1/10)$-RIP를 만족할 경우, $M_0 \leq 8$인 OMMP($M_0$)는 어떤 $s$-희박 신호라도 정확히 $s$ 반복 이내로 복원할 수 있다.
• 천천히 감쇠하는 $s$-희박 신호의 경우, $M = s^a$ ($a \in [0, 1/2]$)를 사용한 OMMP는 $O(s^{1-a})$ 반복 이내에 신호를 복원한다.
• 신호가 $\alpha$-감쇠성일 경우 $\alpha > \sqrt{(1+\delta_s)/(2 - (1+\delta_s)^2)}$를 만족하면 잔여 오차가 기하급수적으로 감소하여 진짜 지지 집합으로 수렴함을 보장한다.
• 선택된 지지 집합에서 최소제곱 복원이 정확히 이루어지기 위해, 행렬 $A$의 스파크 값은 $8s\log_2(2(s+1))$를 초과해야 한다.
• 제시된 RIP 및 감쇠 조건 하에서, 알고리즘이 반복 과정 전반에 걸쳐 지지 집합 포함성을 유지하여 잘못된 원소가 추가되는 것을 방지한다.
• 이론적 분석 결과, $M = s^a$일 경우 반복 수를 $s$에서 $O(s^{1-a})$로 감소시켜 계산 복잡도를 크게 절감할 수 있음을 입증하였다. 특히 $a$가 작을수록 효과가 크다.