[論文レビュー] A note on the sample complexity of the Er-SpUD algorithm by Spielman, Wang and Wright for exact recovery of sparsely used dictionaries

Radosław Adamczak|arXiv (Cornell University)|Jan 8, 2016

Sparse and Compressive Sensing Techniques参考文献 11被引用数 7

ひとこと要約

本稿では、標本数 $ p $ が $ p \geq Cn\log n $ を満たす場合、基本的な経験過程理論を用いて、Er-SpUDアルゴリズムがスパースに使用される辞書を高確率で正確に回復できることを確立している。主な貢献は、定数要因を除いて最適な標本複雑度を証明し、スパースな辞書の正確回復に必要な最小の $ p $ について、Spielman, Wang, および Wrightの予想を解決したことである。

ABSTRACT

We consider the problem of recovering an invertible $n imes n$ matrix $A$ and a sparse $n imes p$ random matrix $X$ based on the observation of $Y = AX$ (up to a scaling and permutation of columns of $A$ and rows of $X$). Using only elementary tools from the theory of empirical processes we show that a version of the Er-SpUD algorithm by Spielman, Wang and Wright with high probability recovers $A$ and $X$ exactly, provided that $p \ge Cn\log n$, which is optimal up to the constant $C$.

研究の動機と目的

• スパースに使用される辞書の正確回復に必要な最小の標本複雑度を、Er-SpUDアルゴリズムを用いて確立すること。
• 高確率での正確回復に十分である $ p \geq Cn\log n $ を証明し、情報理論的下界と定数要因を除いて一致させること。
• 複雑な濃縮不等式を避けて、経験過程理論の基本的道具のみを用いた簡素化された非漸近的解析を提供すること。
• Spielman, Wang, および Wrightの予想である、ベルヌーイ-サブガウス型モデル下で $ p \geq Cn\log n $ が正確回復に十分であることを解決すること。

提案手法

• 2段階のアプローチを用いる：まず、Er-SpUDアルゴリズムが、列の和に関する制約付き $ \ell_1 $-最小化により $ p/2 $ 個の候補ベクトルを生成する。
• グリーディアルゴリズムを適用して、候補群から $ n $ 個の最もスパースなベクトルを選択し、これらが $ X $ の真の行の非ゼロ倍数であることが示される。
• ラデマッハ過程の対称化および縮小原理を用いて、$ \ell_1 $-最小化段階に関連する経験過程の $ \ell_q $-ノルムを評価する。
• ベルシュタインの不等式を適用して、行列モデルから生じる独立でサブガウス型の確率変数の和の尾部挙動を制御する。
• 解のサポート包含性（P1）および解の一意性（P2）という性質に依存して、真の $ X $ の行のみが回復されることを保証する。
• すべての $ n $ 行についての和集合をとるため、各行列に対して有効な列のペアが回復条件を満たすことを保証するイベント $ \mathcal{B}_k $ を定義する。

実験結果

リサーチクエスチョン

• RQ1 Er-SpUDアルゴリズムが、高確率で辞書 $ A $ およびスパース行列 $ X $ を正確に回復できるために、$ p \geq Cn\log n $ が十分であるか？
• RQ2 複雑な濃縮不等式を避けて、経験過程理論の基本的道具のみを用いて標本複雑度の上限を証明できるか？
• RQ3 スパース性およびサブガウス型構造を考慮した場合、アルゴリズムは候補集合にすべての $ X $ の行を非ゼロ倍数として回復できるか？
• RQ4 ベルヌーイ-サブガウス型モデル下で、スケーリングおよび置換の意味で解の一意性を保証するための最小標本数は何か？

主な発見

• Er-SpUDアルゴリズムは、$ p \geq Cn\log n $ のとき、高確率で $ A $ と $ X $ を正確に回復でき、これは定数 $ C $ を除いて最適である。
• 解析により、各 $ X $ の行が候補集合 $ S $ において非ゼロ倍数として回復されることを示した。これは、個々の行とその線形結合の間のスパース性ギャップに起因する。
• 解析では、$ \ell_1 $-最小化問題の任意の解が小さなサポート集合 $ I_{ij} $ 内に存在し、スパース性条件のもとで、解が $ X $ の真の行の倍数であることが示された。
• 対称化、縮小、ベルシュタインの不等式に基づく、洗練された基本的証明により、予想された標本複雑度を達成した。
• この結果により、与えられたモデル仮定のもとで、$ p = Cn\log n $ が一意性および正確回復の必要十分条件（定数要因を除いて）であることが確認された。