[논문 리뷰] Deterministic Bounds for Restricted Isometry of Compressed Sensing Matrices

Shriram Sarvotham, Richard G. Baraniuk|arXiv (Cornell University)|2011. 03. 16.

Sparse and Compressive Sensing Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 압축 감지 행렬에 대한 제한된 조화성 성질(Restricted Isometry Property, RIP) 상수에 대한 결정론적 상한과 하한을 설정한다. 이는 부분행렬의 특이값에 대한 구조 분석과 그라스만만 다각형 공간에서의 기하학적 패킹/커버링 추론을 통해 이루어지며, 무작위 가우시안 행렬과 이론적으로 최적의 행렬 사이에 상당한 성능 격차가 있음을 드러내며, 구조적 설계를 통해 더 나은 RIP 비율을 달성할 수 있음을 보여준다.

ABSTRACT

Compressed Sensing (CS) is an emerging field that enables reconstruction of a sparse signal $x \in {\mathbb R} ^n$ that has only $k \ll n$ non-zero coefficients from a small number $m \ll n$ of linear projections. The projections are obtained by multiplying $x$ by a matrix $Φ\in {\mathbb R}^{m imes n}$ --- called a CS matrix --- where $k < m \ll n$. In this work, we ask the following question: given the triplet $\{k, m, n \}$ that defines the CS problem size, what are the deterministic limits on the performance of the best CS matrix in ${\mathbb R}^{m imes n}$? We select Restricted Isometry as the performance metric. We derive two deterministic converse bounds and one deterministic achievable bound on the Restricted Isometry for matrices in ${\mathbb R}^{m imes n}$ in terms of $n$, $m$ and $k$. The first converse bound (structural bound) is derived by exploiting the intricate relationships between the singular values of sub-matrices and the complete matrix. The second converse bound (packing bound) and the achievable bound (covering bound) are derived by recognizing the equivalence of CS matrices to codes on Grassmannian spaces. Simulations reveal that random Gaussian $Φ$ provide far from optimal performance. The derivation of the three bounds offers several new geometric insights that relate optimal CS matrices to equi-angular tight frames, the Welch bound, codes on Grassmannian spaces, and the Generalized Pythagorean Theorem (GPT).

연구 동기 및 목표

• 주어진 k-희소 신호에 대해 m×n 압축 감지 행렬에 대한 제한된 조화성 성질(Restricted Isometry Property, RIP)의 기본 결정론적 한계를 규명하는 것.
• 주어진 n, m, k에 대해 R^{m×n} 내의 모든 가능한 행렬에 대해 RIP 상수 δk의 이론적 성능 한계를 규명하는 것.
• 무작위 가우시안 행렬과 최적의 결정론적 구성 간 격차를 드러내는 경계를 유도하는 것.
• 최적의 CS 행렬, 등각적 타이트 프레임, 그라스만만 코드, 일반화된 피타고라스 정리 사이의 기하학적 연결 고리를 설정하는 것.

제안 방법

• 하나의 행렬 Φ의 전체 행렬과 부분행렬의 특이값 간 관계를 분석함으로써 구조적 역행 경계를 유도한다.
• CS 행렬을 그라스만만 다각형 공간에서의 코드로 모델링하고 고차원 부분공간에서의 구 패킹을 활용함으로써 패킹 역행 경계를 개발한다.
• 그라스만만 다각형 공간에서의 커버링 추론을 사용하여 가능성을 갖는 커버링 경계를 수립한다. 이는 최상의 가능한 RIP 성능을 나타낸다.
• 유도된 특성 방정식의 다항식 근 분석을 통해 Φ의 무작위 m×k 부분행렬 내 특이값의 분포를 추정한다.
• 가우시안 행렬의 이론적 경계와 실증적 성능를 Conway, Hardin, 그리고 Sloane의 그라스만만 패킹 데이터에서 얻은 알려진 최적의 행렬과 비교한다.
• 구조적 경계를 사용하여 Welch 경계를 k > 2로 확장하며, k=2일 때는 동치임을 보여준다.

실험 결과

연구 질문

• RQ1 어떤 m×n 압축 감지 행렬에 대해서도 제한된 조화성 상수 δk에 대한 가장 날카로운 결정론적 경계는 무엇인가?
• RQ2 RIP 측면에서 무작위 가우시안 행렬의 성능은 최적의 CS 행렬의 이론적 한계와 비교해 볼 때 어떻게 되는가?
• RQ3 등각적 타이트 프레임이나 그라스만만 코드와 같은 기하학적 및 대수적 구조는 최적의 CS 행렬을 뒷받침하는가?
• RQ4 구조적 경계의 매개변수를 사용하여 Φ의 무작위 m×k 부분행렬의 특이값 분포를 예측할 수 있는가?
• RQ5 k > 2일 때 구조적 경계와 Welch 경계 사이의 관계는 무엇인가?

주요 결과

• 무작위 가우시안 행렬과 이론적 결정론적 경계 사이에 상당한 성능 격차가 존재하며, 이는 더 뛰어난 CS 행렬이 존재할 수 있음을 시사한다.
• 작은 n에 대해서는 구조적 경계가 더 날카롭고, 큰 n에 대해서는 패킹 경계가 더 날카로운 역행 경계가 된다.
• k=2일 때 구조적 경계는 수학적으로 Welch 경계와 동치이며, 본 방법은 이 경계를 k > 2로 확장한다.
• 유도된 다항식 방정식의 근은 Φ의 임의의 m×k 부분행렬의 제곱 특이값에 대한 정확한 추정치를 제공한다.
• 시뮬레이션 결과 r_i² 값(구조적 경계에서 유도됨)이 부분행렬 내 특이값의 실증 분포와 매우 유사하게 일치함을 확인한다.
• 커버링 경계는 RIP 성능에 대한 결정론적 구현 가능 한계를 제공하며, 최적의 행렬이 가우시안 행렬보다 훨씬 더 나은 δk를 달성할 수 있음을 시사한다.