[논문 리뷰] A remark about orthogonal matching pursuit algorithm

Zhiqiang Xu|arXiv (Cornell University)|2010. 05. 18.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 압축 감지에서 옥스포지탈 매칭 퇴치(OOrthogonal Matching Pursuit, OMP) 알고리즘에 대한 최초의 인스턴스 최적성 보장을 수립한다. $1 \leq p \leq q \leq 2$, $(p,q) \neq (2,2)$인 경우, 제한 이sovolece 성질(Restricted Isometry Property, RIP) 조건 하에서 OMP가 $(p,q)$ 인스턴스 최적성을 달성함을 보여준다. 또한, 감지 행렬이 적절한 분포에서 추출될 경우 OMP가 확률적으로 $(2,2)$ 인스턴스 최적성을 확보함을 증명한다.

ABSTRACT

In this note, we investigate the theoretical properties of Orthogonal Matching Pursuit (OMP), a class of decoder to recover sparse signal in compressed sensing. In particular, we show that the OMP decoder can give $(p,q)$ instance optimality for a large class of encoders with $1\leq p\leq q \leq 2$ and $(p,q) eq (2,2)$. We also show that, if the encoding matrix is drawn from an appropriate distribution, then the OMP decoder is $(2,2)$ instance optimal in probability.

연구 동기 및 목표

• 압축 감지에서 옥스포지탈 매칭 퇴치(OMP) 디코더의 이론적 인스턴스 최적성 성질을 수립하기 위해.
• OMP가 $1 \leq p \leq q \leq 2$ 조건에서 $(p,q)$ 인스턴스 최적성을 달성할 수 있는 조건을 규명하기 위해, $(2,2)$ 케이스를 제외하고.
• 노이즈 존재 하에서 OMP의 성능을 분석하여, 최적의 $k$-항 approximation 오차와 노이즈 수준을 포함한 오차 경계를 유도하기 위해.
• 감지 행렬이 적절한 분포에서 추출될 경우 OMP가 확률적으로 $(2,2)$ 인스턴스 최적성을 달성함을 보여주기 위해.
• OMP가 인스턴스 최적성을 달성하기 위해 필요한 측정 수를 정량화하여, 상수 요소를 제외한 최적성임을 보여주기 위해.

제안 방법

• Cohen, Dahmen, and DeVore [4] 및 Zhang [13]의 기법을 변형하여, RIP 조건 하에서 OMP의 복원 오차를 분석하기 위해.
• 오차의 반복적 복원 과정을 제한하기 위해 $\delta_k + (1+\delta)\delta_{\alpha k} \leq \delta$ 조건을 사용하며, 이때 $\alpha = \lceil 16 + 15\delta \rceil$이다.
• Hölder의 부등식을 적용하여 $\ell_q$ 및 $\ell_p$ 노름 간의 관계를 설정함으로써, $(p,q)$ 인스턴스 최적성 경계를 도출할 수 있도록 한다.
• 두 단계의 근사 전략을 활용: 첫째, $x$를 $\beta_{2k}(x)$로 근사하고, 둘째, $x^*$와 $\beta_{2k}(x)$ 사이의 오차를 RIP와 잔여 에너지 제어를 통해 경계한다.
• 확률적 RIP 및 확률적 유계성 개념을 도입하여 랜덤 행렬을 다루며, 이로써 $(2,2)$ 인스턴스 최적성의 확률적 증명을 가능하게 한다.
• 오차 경계 내에서 $\delta$, $\alpha$, 및 $\ell_p$-에서 $\ell_q$로의 정규화에 따라 의존하는 명시적 상수 $C_0$ 및 $C_1$을 도출한다.

실험 결과

연구 질문

• RQ1 OMP 디코더가 $1 \leq p \leq q \leq 2$, $p \neq 2$ 조건에서 어떤 조건 하에 $(p,q)$ 인스턴스 최적성을 달성하는가?
• RQ2 감지 행렬이 적절한 분포에서 랜덤하게 추출될 경우, OMP가 확률적으로 $(2,2)$ 인스턴스 최적성을 달성할 수 있는가?
• RQ3 OMP가 인스턴스 최적성을 달성하기 위해 필요한 최소 측정 수는 얼마이며, 이는 상수 요소를 제외하고 최적인가?
• RQ4 OMP의 오차 경계는 최적의 $k$-항 근사 오차 $\sigma_k(x)_p$ 및 노이즈 수준 $\epsilon$ 과 어떻게 스케일링되는가?
• RQ5 오차 경계 내의 $k^{1/q - 1/2}\epsilon$ 항은 향상시킬 수 있으며, 임의의 편향에 대해 이는 최적인가?

주요 결과

• 감지 행렬 $\Phi$가 $\delta_k + (1+\delta)\delta_{\alpha k} \leq \delta$ 조건을 만족하고 $\alpha = \lceil 16 + 15\delta \rceil$일 경우, OMP는 $1 \leq p \leq q \leq 2$, $(p,q) \neq (2,2)$ 조건에서 $(p,q)$ 인스턴스 최적성을 달성한다.
• 오차 경계는 $\|x^* - x\|_q \leq C_0 \frac{\sigma_k(x)_p}{k^{1/p - 1/q}} + C_1 k^{1/q - 1/2} \epsilon$이며, 이때 $C_0$ 및 $C_1$은 $\delta$ 및 $\alpha$에 따라 결정되는 명시적 상수이다.
• $(q,p) = (2,1)$ 케이스에서는 경계가 $\|\text{OMP}_{2(\alpha-1)k}(\Phi x) - x\|_2 \leq C_2 \sigma_k(x)_1 / \sqrt{k}$로 표현되며, $C_2 = 2(1+\delta)(\sqrt{11+20\delta}+1) + 3$이다.
• OMP가 인스턴스 최적성을 달성하기 위해 필요한 측정 수는 $O(k(N/k)^{2-2/p} \log(N/k))$이며, 이는 상수 요소를 제외하고 최적이다.
• 오차 경계 내의 항 $k^{1/q - 1/2}\epsilon$ 는 임의의 편향 $e$에 대해 최적이며 향상시킬 수 없다.
• 감지 행렬 $\Phi$가 확률적 RIP를 만족하는 분포에서 추출될 경우, OMP는 확률적으로 $(2,2)$ 인스턴스 최적성을 달성하며, $\|x^* - x\|_2 \leq C \sigma_k(x)_2$는 높은 확률로 성립한다.