[論文レビュー] Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis

Daniel P. Robinson, Renè Vidal+1 more|arXiv (Cornell University)|Dec 30, 2019

Sparse and Compressive Sensing Techniques参考文献 46被引用数 5

ひとこと要約

本稿は、線形従属な辞書の列が張る低次元部分空間に位置する信号に対する、部分空間保存回復のための基礎 Pursuit (BP) と直交的マッチング Pursuit (OMP) の理論的分析を提供する。主な貢献は、辞書が非一様的でも制限等長性を満たさなくても、BP および OMP が正しい部分空間を一意に特定する表現を回復できる幾何的条件——被覆半径と角距離——を確立することにある。

ABSTRACT

Given an overcomplete dictionary $A$ and a signal $b = Ac^*$ for some sparse vector $c^*$ whose nonzero entries correspond to linearly independent columns of $A$, classical sparse signal recovery theory considers the problem of whether $c^*$ can be recovered as the unique sparsest solution to $b = A c$. It is now well-understood that such recovery is possible by practical algorithms when the dictionary $A$ is incoherent or restricted isometric. In this paper, we consider the more general case where $b$ lies in a subspace $\mathcal{S}_0$ spanned by a subset of linearly dependent columns of $A$, and the remaining columns are outside of the subspace. In this case, the sparsest representation may not be unique, and the dictionary may not be incoherent or restricted isometric. The goal is to have the representation $c$ correctly identify the subspace, i.e. the nonzero entries of $c$ should correspond to columns of $A$ that are in the subspace $\mathcal{S}_0$. Such a representation $c$ is called subspace-preserving, a key concept that has found important applications for learning low-dimensional structures in high-dimensional data. We present various geometric conditions that guarantee subspace-preserving recovery. Among them, the major results are characterized by the covering radius and the angular distance, which capture the distribution of points in the subspace and the similarity between points in the subspace and points outside the subspace, respectively. Importantly, these conditions do not require the dictionary to be incoherent or restricted isometric. By establishing that the subspace-preserving recovery problem and the classical sparse signal recovery problem are equivalent under common assumptions on the latter, we show that several of our proposed conditions are generalizations of some well-known conditions in the sparse signal recovery literature.

研究の動機と目的

• 本稿の目的は、信号が線形従属な辞書の列が張る部分空間に位置する場合に、古典的なスパース回復理論を拡張することである。
• スパース解が一意でない場合でも、BP および OMP が正しい部分空間を特定する表現を回復できる条件を調査することである。
• 本稿の目的は、インスタンスおよびユニバーサルな部分空間保存回復のための十分な幾何的条件——特に被覆半径と角距離——を確立することである。
• 本稿は、古典的スパース回復におけるよく知られた非一様性および制限等長性条件を、より一般的な部分空間保存設定に一般化することを目的としている。
• 本稿は、標準的な仮定の下で部分空間保存回復が古典的スパース回復と同等であることを示し、両フレームワークを統合することを目的としている。

提案手法

• 分析は、部分空間の被覆半径と部分空間外の列との間の角距離という、辞書の幾何的性質に依存している。
• 本稿は、双対集合 K0 の外接円半径 R0 と内接円半径 r0 の概念を導入し、これらが被覆半径と角距離と関連していることを示している。
• 本稿は、BP の双対問題を用いて、部分空間と他の辞書列との間の相互非一様性の上限を導出している。
• 本稿は、内接円半径と外接円半径の比が特定の不等式を満たす場合に、一般化された一意部分空間条件 (G-USC) が成り立つことを証明している。
• 理論的結果は、線形計画法における強い双対性および部分空間上での幾何最適化を用いて導出されている。
• 本稿は、標準的な仮定の下で部分空間保存回復問題と古典的スパース回復を結びつけることで、両者の等価性を示している。

実験結果

リサーチクエスチョン

• RQ1 辞書の列が線形従属である場合に、Basis Pursuit および Orthogonal Matching Pursuit が部分空間保存表現を一意に回復できる幾何的条件は何か？
• RQ2 部分空間と他の辞書との間の被覆半径と角距離は、BP および OMP の部分空間保存回復の成功にどのように影響するか？
• RQ3 古典的な非一様性および制限等長性条件は、部分空間保存回復における線形従属な辞書の場合に一般化可能か？
• RQ4 提案された幾何的条件は、スパース回復理論における既存の条件をどの程度包含または一般化するか？
• RQ5 標準的な仮定の下で、部分空間保存回復問題は古典的スパース回復と同等であるか？もしそうならば、この同等性は新しい条件にどのように影響を与えるか？

主な発見

• 本稿は、被覆半径と角距離が特定の幾何的境界を満たす場合に、BP および OMP による部分空間保存回復が保証されることを確立した。
• 双対集合 K0 の内接円半径 r0 と外接円半径 R0 が逆数関係にあり、r0 = 1/R0 であることが示された。
• 一般化された一意部分空間条件 (G-USC) の十分条件として、r0 > µ(A)/r0 が導出され、これは r0^2 > µ(A) を意味する。ここで µ(A) は辞書の非一様性である。
• 部分空間と他の辞書との間の角距離は、非一様性と内接円半径によって上限が与えられ、すべての単位ベクトル v に対して ∥A⊤_−v∥∞ ≤ µ(A)/r0 が成り立つ。
• 結果として、提案された条件が、辞書が非一様的でも制限等長性を満たさなくても、古典的な非一様性および制限等長性条件を一般化していることが示された。
• 本稿は、標準的な仮定の下で部分空間保存回復問題が古典的スパース回復と同等であることを証明し、新しい条件の広範な適用可能性を裏付けた。