[논문 리뷰] Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis

Daniel P. Robinson, Renè Vidal외 1명|arXiv (Cornell University)|2019. 12. 30.

Sparse and Compressive Sensing Techniques참고 문헌 46인용 수 5

한 줄 요약

이 논문은 선형적으로 종속된 사전 열에 의해 생성된 저차원 부분공간에 속하는 신호에 대해, 기저 추적(Basis Pursuit, BP)과 수직 매칭 추적(Orthogonal Matching Pursuit, OMP)의 이론적 분석을 제공한다. 주요 기여는 사전가의 비일관성 또는 제한 이소메트릭 조건이 성립하지 않을 경우에도 BP와 OMP가 정확한 부분공간을 유일하게 복원할 수 있는 기하 조건—커버링 반경과 각도 거리—를 규명한 것이다.

ABSTRACT

Given an overcomplete dictionary $A$ and a signal $b = Ac^*$ for some sparse vector $c^*$ whose nonzero entries correspond to linearly independent columns of $A$, classical sparse signal recovery theory considers the problem of whether $c^*$ can be recovered as the unique sparsest solution to $b = A c$. It is now well-understood that such recovery is possible by practical algorithms when the dictionary $A$ is incoherent or restricted isometric. In this paper, we consider the more general case where $b$ lies in a subspace $\mathcal{S}_0$ spanned by a subset of linearly dependent columns of $A$, and the remaining columns are outside of the subspace. In this case, the sparsest representation may not be unique, and the dictionary may not be incoherent or restricted isometric. The goal is to have the representation $c$ correctly identify the subspace, i.e. the nonzero entries of $c$ should correspond to columns of $A$ that are in the subspace $\mathcal{S}_0$. Such a representation $c$ is called subspace-preserving, a key concept that has found important applications for learning low-dimensional structures in high-dimensional data. We present various geometric conditions that guarantee subspace-preserving recovery. Among them, the major results are characterized by the covering radius and the angular distance, which capture the distribution of points in the subspace and the similarity between points in the subspace and points outside the subspace, respectively. Importantly, these conditions do not require the dictionary to be incoherent or restricted isometric. By establishing that the subspace-preserving recovery problem and the classical sparse signal recovery problem are equivalent under common assumptions on the latter, we show that several of our proposed conditions are generalizations of some well-known conditions in the sparse signal recovery literature.

연구 동기 및 목표

• . 이 논문은 신호가 선형적으로 종속된 사전 열에 의해 생성된 부분공간에 위치할 경우, 고전적 희소 복원 이론을 확장하고자 한다.
• 이 논문은 희소성 해가 유일하지 않을 경우에도 BP와 OMP가 정확한 부분공간을 식별할 수 있는 조건을 조사하고자 한다.
• 이 논문의 목표는 BP와 OMP의 개별적 및 일반적인 부분공간 보존 복원을 위한 충분한 기하 조건—특히 커버링 반경과 각도 거리—를 설정하는 것이다.
• 이 논문은 고전적 희소 복원 이론에서 잘 알려진 비일관성과 제한 이소메트릭 조건을 더 일반적인 부분공간 보존 설정으로 일반화하고자 한다.
• 이 논문은 표준 가정 하에서 부분공간 보존 복원 문제가 고전적 희소 복원 문제와 동치임을 보여주어, 두 프레임워크를 통합하고자 한다.

제안 방법

• . 분석은 사전의 기하적 성질—부분공간의 커버링 반경과 부분공간 외의 열들 사이의 각도 거리—를 사용한다.
• . 이 논문은 이중 문제의 관점에서 부분공간의 이중 집합 K0의 외접원 반경 R0와 내접원 반경 r0의 개념을 도입한다. 이들은 커버링 반경과 각도 거리와 관련이 있다.
• . 이 논문은 기저 추적의 이중 문제를 이용해 부분공간과 사전의 나머지 부분 사이의 상호 비일관성에 대한 경계를 유도한다.
• . 이론적으로, 비일관성 비율이 일정한 부등식을 만족할 경우 일반화된 유일 부분공간 조건(G-USC)이 성립함을 증명한다.
• . 선형 프로그래밍의 강한 이중성과 부분공간 위에서의 기하 최적화를 이용해 이론적 결과를 도출한다.
• . 표준 가정 하에서 부분공간 보존 복원 문제와 고전적 희소 복원 문제의 등가성을 보여줌으로써, 이 문제를 고전적 희소 복원 이론과 연결한다.

실험 결과

연구 질문

• RQ1 . 사전 열이 선형적으로 종속되어 있을 경우, 기저 추적과 수직 매칭 추적은 어떤 기하 조건을 만족할 때 부분공간 보존 표현을 유일하게 복원할 수 있는가?
• RQ2 . 부분공간과 사전의 나머지 부분 사이의 커버링 반경과 각도 거리는 BP와 OMP의 부분공간 보존 복원 성공에 어떻게 영향을 미치는가?
• RQ3 . 고전적 비일관성과 제한 이소메트릭 조건은 부분공간 보존 복원에서 종속된 사전으로 일반화될 수 있는가?
• RQ4 . 제안된 기하 조건은 기존의 희소 복원 이론에서의 조건들을 얼마나 포괄하거나 일반화하는가?
• RQ5 . 표준 가정 하에서 부분공간 보존 복원 문제와 고전적 희소 복원 문제 사이의 등가성은 무엇이며, 이 등가성은 새로운 조건에 어떻게 영향을 미치는가?

주요 결과

• . 이 논문은 커버링 반경과 각도 거리가 특정 기하 경계를 만족할 경우 BP와 OMP가 부분공간 보존 복원을 보장함을 규명하였다.
• . 이중 집합 K0의 내접원 반경 r0와 외접원 반경 R0는 서로 반비례하며, r0 = 1/R0임이 입증되었다.
• . 일반화된 유일 부분공간 조건(G-USC)을 위한 충분조건으로 r0 > µ(A)/r0가 도출되었으며, 이는 r0^2 > µ(A)로 표현할 수 있다. 여기서 µ(A)는 사전의 비일관성이다.
• . 부분공간과 나머지 사전 열 사이의 각도 거리는 비일관성과 내접원 반경을 통해 제한되며, 부분공간의 단위 벡터 v에 대해 ∥A⊤_−v∥∞ ≤ µ(A)/r0 임이 입증되었다.
• . 결과적으로 제안된 조건들이 비일관성과 제한 이소메트릭 조건을 일반화함을 보여주었으며, 사전이 비일관성 또는 제한 이소메트릭 조건을 만족하지 않더라도 성립함을 입증하였다.
• . 이 논문은 표준 가정 하에서 부분공간 보존 복원 문제가 고전적 희소 복원 문제와 동치임을 증명하였으며, 이는 새로운 조건의 광범위한 적용 가능성을 검증한다.