[論文レビュー] Alternating minimization for dictionary learning with random initialization

Niladri S. Chatterji, Peter L. Bartlett|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用数 10

ひとこと要約

この論文は、ランダム初期化を用い、作用素ノルム制約を行列無限大ノルム条件に置き換えることで、辞書学習における交互最小化アルゴリズムの理論的保証を提示する。本手法は現実的な生成モデルのもとで、任意の過完備性および情報理論的に最適なスパarsityを達成しつつ、グローバル最適解への収束を保証する。また、サンプル複雑度の境界も提供する。

ABSTRACT

We present theoretical guarantees for an alternating minimization algorithm for the dictionary learning/sparse coding problem. The dictionary learning problem is to factorize vector samples $y^{1},y^{2},\ldots, y^{n}$ into an appropriate basis (dictionary) $A^*$ and sparse vectors $x^{1*},\ldots,x^{n*}$. Our algorithm is a simple alternating minimization procedure that switches between $\ell_1$ minimization and gradient descent in alternate steps. Dictionary learning and specifically alternating minimization algorithms for dictionary learning are well studied both theoretically and empirically. However, in contrast to previous theoretical analyses for this problem, we replace the condition on the operator norm (that is, the largest magnitude singular value) of the true underlying dictionary $A^*$ with a condition on the matrix infinity norm (that is, the largest magnitude term). This not only allows us to get convergence rates for the error of the estimated dictionary measured in the matrix infinity norm, but also ensures that a random initialization will provably converge to the global optimum. Our guarantees are under a reasonable generative model that allows for dictionaries with growing operator norms, and can handle an arbitrary level of overcompleteness, while having sparsity that is information theoretically optimal. We also establish upper bounds on the sample complexity of our algorithm.

研究の動機と目的

• ランダム初期化を用いた辞書学習における交替最小化の理論的収束保証を提供すること。
• 真の辞書の作用素ノルムに依存するのをやめ、より広範な適用性を可能にする行列無限大ノルム条件に置き換えること。
• 任意の過完備性および情報理論的に最適なスパarsityのもとでも、グローバル最適解への収束を保証すること。
• 現実的な生成モデルのもとで、提案されたアルゴリズムのサンプル複雑度境界を確立すること。

提案手法

• アルゴリズムは、スパースコードの推定のためのℓ₁最小化と、辞書の更新のための勾配降下法を交互に実行する。
• 作用素ノルムの代わりに、真の辞書に対する行列無限大ノルム条件を用いることで、より許容度が高く、ランダム初期化からの収束を可能にする。
• 作用素ノルムが増大可能で、任意の過完備性を許容する生成モデルの下で動作する。
• 収束は行列無限大ノルムでの誤差の観点から分析され、強力な理論的保証を提供する。
• 理論的分析にはサンプル複雑度の境界が組み込まれており、信頼できる回復に必要なサンプル数を示している。
• 本手法は、ランダム初期化からグローバル収束を保証するが、従来の手法とは異なり、慎重な初期化を必要としない。

実験結果

リサーチクエスチョン

• RQ1 作用素ノルム制約よりも弱い仮定のもとで、ランダム初期化を用いた交替最小化は、辞書学習においてグローバル最適解に収束可能か？
• RQ2 作用素ノルム条件を行列無限大ノルム条件に置き換えることで、任意の過完備性における収束保証が可能になるか？
• RQ3 提案されたアルゴリズムが、正確な辞書回復を達成するために必要なサンプル複雑度はどの程度か？
• RQ4 本手法は、保証された収束を維持しつつ、情報理論的に最適なスパarsityを達成できるか？
• RQ5 行列無限大ノルム条件は、アルゴリズムのロバストネスおよびスケーラビリティにどのように影響するか？

主な発見

• 真の辞書に行列無限大ノルム条件が成り立つ限り、ランダム初期化のもとで、アルゴリズムはグローバル最適解に理論的に収束する。
• 本手法は、辞書の任意の過完備性を許容するため、より広範な現実世界の問題に適用可能である。
• アルゴリズムのサンプル複雑度は有界であり、スパarsityおよび問題の次元数に応じて効率的にスケーリングされる。
• 推定された辞書の誤差は行列無限大ノルムで有界であり、回復精度の強力な指標を提供する。
• 本手法は情報理論的に最適なスパarsityレベルを達成する。これは、より少ない非ゼロ要素で辞書を回復できるアルゴリズムが存在しないことを意味する。
• 理論的枠組みは、増大する作用素ノルムを有する辞書をサポートしており、従来の研究と比較して顕著な緩和である。