[論文レビュー] Subspace-Sparse Representation

Chong You, Renè Vidal|arXiv (Cornell University)|Jul 6, 2015

Sparse and Compressive Sensing Techniques参考文献 42被引用数 4

ひとこと要約

本稿では、信号が辞書の原子によって張られる低次元部分空間に存在するが、その原子が線形従属である場合でも適用可能な、スパース復元の一般化である部分空間スパース表現を導入する。基礎 Pursuit（BP）および直交匹配 Pursuit（OMP）が正しい部分空間を特定する表現を回復するための十分な幾何的条件——主回復条件（PRC）および双対表現条件（DRC）——を確立し、スパース復元および分類への応用を含む。

ABSTRACT

Given an overcomplete dictionary $A$ and a signal $b$ that is a linear combination of a few linearly independent columns of $A$, classical sparse recovery theory deals with the problem of recovering the unique sparse representation $x$ such that $b = A x$. It is known that under certain conditions on $A$, $x$ can be recovered by the Basis Pursuit (BP) and the Orthogonal Matching Pursuit (OMP) algorithms. In this work, we consider the more general case where $b$ lies in a low-dimensional subspace spanned by some columns of $A$, which are possibly linearly dependent. In this case, the sparsest solution $x$ is generally not unique, and we study the problem that the representation $x$ identifies the subspace, i.e. the nonzero entries of $x$ correspond to dictionary atoms that are in the subspace. Such a representation $x$ is called subspace-sparse. We present sufficient conditions for guaranteeing subspace-sparse recovery, which have clear geometric interpretations and explain properties of subspace-sparse recovery. We also show that the sufficient conditions can be satisfied under a randomized model. Our results are applicable to the traditional sparse recovery problem and we get conditions for sparse recovery that are less restrictive than the canonical mutual coherent condition. We also use the results to analyze the sparse representation based classification (SRC) method, for which we get conditions to show its correctness.

研究の動機と目的

• 信号が線形従属な辞書の原子によって張られる部分空間に存在する場合のスパース復元の一般化。
• 基礎 Pursuit（BP）および直交匹配 Pursuit（OMP）が部分空間スパース表現を生成するための十分な条件の確立。
• 古典的相互コヒーレンスよりも制限が弱く、幾何的解釈が可能な回復条件の幾何的解釈の提供。
• 提案されたフレームワークを用いたスパース表現ベースの分類（SRC）の正しさの分析。
• 確率的モデルにおいて条件が高確率で満たされることを示し、実世界のデータへの適用可能性を拡張。

提案手法

• 信号を含む部分空間を張る原子にのみ非ゼロエントリを持つ解 x に対応する部分空間スパース表現の概念を導入。
• 部分空間スパース回復のための十分条件として、主回復条件（PRC）および双対表現条件（DRC）を定義。
• 部分空間間の最小角度および双対点を用いた幾何的解析により、回復性能の境界を導出。
• ゲルシュゴリンの円定理および固有値の境界を用いて、辞書部分行列の条件数を制御。
• 強い双対性および ℓ1-最適化を用いて、部分空間と残りの原子との間のコヒーレンスを境界化。
• ユニオンバウンズおよび球面上の一様確率的モデルに基づく確率的解析により、高確率での回復保証を導出。

実験結果

リサーチクエスチョン

• RQ1 原子が線形従属であっても、基礎 Pursuit（BP）および直交匹配 Pursuit（OMP）が正しい部分空間を特定する表現を回復できる条件は何か？
• RQ2 提案された条件（PRC および DRC）は、古典的相互コヒーレンスと比較して、制限の度合いや幾何的解釈性においてどのように異なるか？
• RQ3 提案されたフレームワークは、顔認識およびクラスタリングタスクにおけるスパース表現ベースの分類（SRC）の成功を説明できるか？
• RQ4 どの確率的モデルが、回復条件が高確率で満たされることを保証するか？
• RQ5 このフレームワークは、古典的スパース復元をどのように一般化し、どのような改善を提供するか？

主な発見

• 主回復条件（PRC）および双対表現条件（DRC）は、BP および OMP による部分空間スパース回復のための十分条件である。
• 相互コヒーレンス µ(A) < 1/(2s₀−1) が成り立つ場合、PRC および DRC は保証され、部分空間スパース回復が可能になる。
• 導出された条件は、標準的な相互コヒーレンス条件よりも制限が弱く、より一般的な設定でも回復が可能になる。
• 球面上の一様確率的モデルにおいて、次元が増加するにつれて、条件は高確率で満たされる。
• このフレームワークは、スパース表現ベースの分類（SRC）の正しさに対する理論的裏付けを提供し、弱い条件下でも部分空間スパース表現が回復されることを示している。
• 結果は古典的スパース復元に拡張され、原子が非コヒーレントである必要がない場合でも、より良い回復保証を提供する。