[論文レビュー] The Sample Complexity of Dictionary Learning

Daniel Vainsencher, Shie Mannor+1 more|Nov 24, 2010

Sparse and Compressive Sensing Techniques参考文献 14被引用数 4

ひとこと要約

本稿は、$l_1$-正則化および$k$-スパース表現という2つの係数選択制約の下で、辞書学習の一般化境界を確立する。局所的ラデマッハ複雑度を用いて、低Babel関数の仮定（高次元において高い確率で成り立つ）の下で、$O\left(\sqrt{np\log(m\lambda)/m}\right)$および$O\left(\sqrt{np\log(mk)/m}\right)$の順序のサンプル複雑度境界を導出する。収束速度は$1/m$の高速な速度を達成する。

ABSTRACT

A large set of signals can sometimes be described sparsely using a dictionary, that is, every element can be represented as a linear combination of few elements from the dictionary. Algorithms for various signal processing applications, including classification, denoising and signal separation, learn a dictionary from a set of signals to be represented. Can we expect that the representation found by such a dictionary for a previously unseen example from the same source will have L_2 error of the same magnitude as those for the given examples? We assume signals are generated from a fixed distribution, and study this questions from a statistical learning theory perspective. We develop generalization bounds on the quality of the learned dictionary for two types of constraints on the coefficient selection, as measured by the expected L_2 error in representation when the dictionary is used. For the case of l_1 regularized coefficient selection we provide a generalization bound of the order of O(sqrt(np log(m lambda)/m)), where n is the dimension, p is the number of elements in the dictionary, lambda is a bound on the l_1 norm of the coefficient vector and m is the number of samples, which complements existing results. For the case of representing a new signal as a combination of at most k dictionary elements, we provide a bound of the order O(sqrt(np log(m k)/m)) under an assumption on the level of orthogonality of the dictionary (low Babel function). We further show that this assumption holds for most dictionaries in high dimensions in a strong probabilistic sense. Our results further yield fast rates of order 1/m as opposed to 1/sqrt(m) using localized Rademacher complexity. We provide similar results in a general setting using kernels with weak smoothness requirements.

研究の動機と目的

• 有限サンプルからの辞書学習の統計的一般化境界を確立すること。
• 学習済みの辞書が未知の信号に一般化するために必要なサンプル複雑度を分析すること。
• 辞書サイズ、スパarsity、幾何的性質（例：Babel関数）が一般化誤差に与える影響を定量化すること。
• 弱い滑らかさの仮定の下で、カーネルベースの辞書学習へ結果を拡張すること。
• 局所的ラデマッハ複雑度を用いて、標準の$1/\sqrt{m}$の速度よりも高速な$1/m$収束速度を提供すること。

提案手法

• すべての許容可能な辞書全体にわたる一様収束境界を統計的学習理論を用いて導出する。
• 局所的ラデマッハ複雑度を適用し、$1/\sqrt{m}$ではなく$1/m$の高速収束速度を達成する。
• 辞書の整合性を測る主要な指標としてBabel関数を導入し、一般化の保証を得るためにその値が小さいと仮定する。
• カーネル写像によって誘導される関数クラスのカバー数境界を導出し、再生ヒルバート空間における一般化を可能にする。
• 特徴写像およびカーネル関数のホルダー連続性を用いて、メトリックエントロピーおよびカバーのサイズを制御する。
• 2つの係数制約（$l_1$-ノルム制限（$R_\lambda$）および$k$-スパース（$H_k$）表現）に対して境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 $m$個のサンプルから学習された辞書が、未知の信号に対して低い期待$L_2$誤差で一般化するために必要なサンプル複雑度は何か？
• RQ2 $l_1$-正則化制約が一般化誤差に与える影響は何か？また、$l_1$-ノルムの上限$\lambda$に依存する関係は何か？
• RQ3 $k$-スパース表現制約が一般化に与える影響は何か？Babel関数は果たす役割は何か？
• RQ4 弱い滑らかさの仮定の下で、一般化境界をカーネルベースの辞書学習へ拡張できるか？
• RQ5 どのような条件下で、辞書学習において$1/m$の高速収束速度が現れるか？

主な発見

• $l_1$-正則化係数選択の場合、一般化誤差は$O\left(\sqrt{np\log(m\lambda)/m}\right)$で有界であり、$\lambda$に対して対数的依存性を示す。
• $k$-スパース表現の場合、Babel関数が小さいと仮定すれば、境界は$O\left(\sqrt{np\log(mk)/m}\right)$である。
• Babel関数が小さいことは、高次元においてほとんどの辞書に対して高い確率で成り立つため、仮定の実証的妥当性が裏付けられる。
• 局所的ラデマッハ複雑度を用いて、標準の$1/\sqrt{m}$の速度よりも高速な$1/m$収束速度が達成される。
• ホルダー連続な特徴写像を用いたカーネル設定へも結果を拡張でき、カーネル誘導関数クラスのカバー数境界が導出される。
• 境界の結果から、一般化を向上させるために、辞書学習アルゴリズムはBabel関数を最小化するように正則化すべきであると示唆される。