[論文レビュー] An improved analysis of the ER-SpUD dictionary learning algorithm

Jarosław Błasiok, Jelani Nelson|arXiv (Cornell University)|Feb 18, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 6

ひとこと要約

本稿では、ER-SpUD辞書学習アルゴリズムの改善された理論的分析を提示し、わずかな変更により、$ p \gtrsim n\log(n/\delta) $ 個のサンプルで成功裏に辞書の回復が可能であることを示している。これは[SWW12]の予想を解決し、元のアルゴリズムでは $ p \gtrsim n\log^4 n $ が十分であるとされていた過去の主張と矛盾する。主な結果として、サブガウスィアンなスパarsityとノイズなしの条件下で、タイトなサンプル複雑度の境界が確立された。

ABSTRACT

In "dictionary learning" we observe $Y = AX + E$ for some $Y\in\mathbb{R}^{n imes p}$, $A \in\mathbb{R}^{m imes n}$, and $X\in\mathbb{R}^{m imes p}$. The matrix $Y$ is observed, and $A, X, E$ are unknown. Here $E$ is "noise" of small norm, and $X$ is column-wise sparse. The matrix $A$ is referred to as a {\em dictionary}, and its columns as {\em atoms}. Then, given some small number $p$ of samples, i.e.\ columns of $Y$, the goal is to learn the dictionary $A$ up to small error, as well as $X$. The motivation is that in many applications data is expected to sparse when represented by atoms in the "right" dictionary $A$ (e.g.\ images in the Haar wavelet basis), and the goal is to learn $A$ from the data to then use it for other applications. Recently, [SWW12] proposed the dictionary learning algorithm ER-SpUD with provable guarantees when $E = 0$ and $m = n$. They showed if $X$ has independent entries with an expected $s$ non-zeroes per column for $1 \lesssim s \lesssim \sqrt{n}$, and with non-zero entries being subgaussian, then for $p\gtrsim n^2\log^2 n$ with high probability ER-SpUD outputs matrices $A', X'$ which equal $A, X$ up to permuting and scaling columns (resp.\ rows) of $A$ (resp.\ $X$). They conjectured $p\gtrsim n\log n$ suffices, which they showed was information theoretically necessary for {\em any} algorithm to succeed when $s \simeq 1$. Significant progress was later obtained in [LV15]. We show that for a slight variant of ER-SpUD, $p\gtrsim n\log(n/δ)$ samples suffice for successful recovery with probability $1-δ$. We also show that for the unmodified ER-SpUD, $p\gtrsim n^{1.99}$ samples are required even to learn $A, X$ with polynomially small success probability. This resolves the main conjecture of [SWW12], and contradicts the main result of [LV15], which claimed that $p\gtrsim n\log^4 n$ guarantees success whp.

研究の動機と目的

• サブガウスィアンなスパarsityのもとで、ER-SpUDを用いた辞書回復に $ p \gtrsim n\log n $ 個のサンプルで十分であるという[SWW12]の予想を解決すること。
• ER-SpUDの変種のサンプル複雑度を分析し、高確率的回復のタイトな境界を確立すること。
• 元のER-SpUDアルゴリズムが、多項式的に小さな成功確率に対しても $ p \gtrsim n^{1.99} $ 個のサンプルを必要とすることを示し、[LV15]の主張と矛盾すること。
• スパースでサブガウスィアン係数モデル、ノイズなしの下での辞書学習の洗練された理論的理解を提供すること。

提案手法

• サンプル複雑度の保証を向上させるために、ER-SpUDのわずかな変種を導入する。
• 一般化チェイニングとガウス過程の尾部バウンドを用いて、$ \ell_1 $-ボール上の確率的過程の上界を制御する。
• メトリックエントロピーとメジャライジング測度論を用いて、ラデマッハ・カオス過程の期待上界をバウンドする。
• 集中不等式を適用し、経験的ノルムとその期待値との乖離の高確率バウンドを導出する。
• $ \ell_2 $ および $ \ell_\infty $ ノルムにおける $ \ell_1 $-ボールの $ \gamma_2 $ および $ \gamma_1 $ 機能のバウンドを導出する。
• 補題14および補題24を用いてモーメントと尾部バウンドを組み合わせ、一つの過程からその対称化されたバージョンへの集中性の挙動を転送する。

実験結果

リサーチクエスチョン

• RQ1 $ p \gtrsim n\log n $ 個のサンプルで、サブガウスィアンなスパース係数を持つ辞書学習において、高確率的回復が可能か？
• RQ2 [LV15]が主張するように、元のER-SpUDアルゴリズムは $ p \gtrsim n\log^4 n $ 個のサンプルで高確率的回復を達成できるか？
• RQ3 元のER-SpUDが、多項式的に小さな成功確率ですら成功するための最小のサンプル複雑度は何か？
• RQ4 提案されたER-SpUDの変種は、元のアルゴリズムと比較して、どのようにサンプル複雑度を改善するか？
• RQ5 メトリックエントロピーと一般化チェイニングは、辞書学習アルゴリズムの解析をどのようにタイトにするか？

主な発見

• ER-SpUDの変種が、$ p \gtrsim n\log(n/\delta) $ 個のサンプルで高確率的辞書回復を達成でき、[SWW12]の予想が解決された。
• 元のER-SpUDアルゴリズムは、成功確率 $ 1/\mathop{\mathrm{poly}}(n) $ に対しても $ p \gtrsim n^{1.99} $ 個のサンプルを必要とし、[LV15]の主張と矛盾する。
• 解析により、$ \gamma_2(B_1, \|\cdot\|_2) \lesssim \sqrt{\log n} $ および $ \gamma_1(B_1, \|\cdot\|_\infty) \lesssim \log n $ が得られ、これが過程の上界をバウンドする上で重要である。
• 対称化過程 $ \sup_{v \in B_1} |\tilde{X}_v| $ の上界が、高確率で $ \lesssim \sqrt{m\theta \log(n/\delta)} + \log(n/\delta) $ であることが示された。
• 提示されたスパarsityおよびサブガウスィアン仮定のもとで、必要なサンプルサイズ $ p \gtrsim n\log(n/\delta) $ は、提案された変種に対して必要かつ十分である。
• スパarsityが $ \theta \simeq 1/n $ のとき、$ p \gtrsim n\log n $ が情報論的に必要かつ十分であることが示され、予想が裏付けられた。