[論文レビュー] Alternating minimization for dictionary learning: Local Convergence Guarantees

Niladri S. Chatterji, Peter L. Bartlett|arXiv (Cornell University)|Nov 9, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 4

ひとこと要約

本稿は、辞書学習における交互最小化アルゴリズムの局所的収束保証を提供し、真の辞書に対する演算子ノルム制約の代わりに行列の無限大ノルム条件を導入する。この手法は、スパースコーディングのためのℓ₁最小化と辞書更新のための勾配降下法を交互に実行し、O(√d)までの最適なスパarsityレベルと、過剰な辞書や高ノルム辞書に対しても線形収束を達成する。サンプル複雑度の境界も得られる。

ABSTRACT

We present theoretical guarantees for an alternating minimization algorithm for the dictionary learning/sparse coding problem. The dictionary learning problem is to factorize vector samples $y^{1},y^{2},\ldots, y^{n}$ into an appropriate basis (dictionary) $A^*$ and sparse vectors $x^{1*},\ldots,x^{n*}$. Our algorithm is a simple alternating minimization procedure that switches between $\ell_1$ minimization and gradient descent in alternate steps. Dictionary learning and specifically alternating minimization algorithms for dictionary learning are well studied both theoretically and empirically. However, in contrast to previous theoretical analyses for this problem, we replace a condition on the operator norm (that is, the largest magnitude singular value) of the true underlying dictionary $A^*$ with a condition on the matrix infinity norm (that is, the largest magnitude term). Our guarantees are under a reasonable generative model that allows for dictionaries with growing operator norms, and can handle an arbitrary level of overcompleteness, while having sparsity that is information theoretically optimal. We also establish upper bounds on the sample complexity of our algorithm.

研究の動機と目的

• 現実的な仮定の下で、交替最小化の辞書学習に対する理論的収束保証の欠如を解消する。
• 従来の研究が真の辞書に対する制限的な演算子ノルム制約に依存していたという限界を克服する。
• 成長する演算子ノルムを有する辞書や任意の過剰性（r = O(poly(d)))を持つ辞書の解析を可能にする。
• 非一様性を持つ辞書に対して、情報理論的に最適なスパarsityレベルO(√d)を達成する。
• 固定された汚染を伴う生成モデルの下で、提案されたアルゴリズムのサンプル複雑度の境界を確立する。

提案手法

• スパース係数推定のためのℓ₁最小化と辞書更新のための勾配降下法を交互に実行する交替最小化アルゴリズムを提案する。
• 最悪事態の汚染に対処可能なロバストなスパース推定器「{ℓ₁, ℓ₂, ℓ∞}-MU セレクタ」を導入する。
• 演算子ノルム（最大特異値）の代わりに、行列の無限大ノルム（最大絶対値成分）を主要な条件として用いることで、より広範な適用可能性を実現する。
• Kullback-Leibler 散逸と情報理論的ツール（Tsybakovの仮説検定複雑度の定理を含む）を用いて収束を分析する。
• 従来の最大列方向誤差指標よりも鋭い、行列の無限大ノルムにおける誤差境界を確立する。
• 固定汚染下でのロバストなスパース推定器のミニマックス最適性を証明し、独立に価値のある結果を得る。

実験結果

リサーチクエスチョン

• RQ1 交替最小化による辞書学習が、演算子ノルム制約よりも弱い仮定のもとで局所的線形収束を達成できるか？
• RQ2 演算子ノルム条件を行列の無限大ノルム条件に置き換えることで、過剰で高ノルムの辞書設定においても収束保証が可能になるか？
• RQ3 過剰な状況下で、情報理論的に最適なスパarsityレベルO(√d)を達成できるか？
• RQ4 新しい条件下での、提案された交替最小化アルゴリズムのサンプル複雑度は何か？
• RQ5 提案されたロバストなスパース推定器は、辞書における固定汚染下でミニマックス的に最適か？

主な発見

• 本アルゴリズムは、成長する演算子ノルムを有する辞書を許容する行列の無限大ノルム条件のもとで、真の辞書への局所的線形収束を達成する。
• 本手法は、O(√d)までのスパarsityレベルについて収束保証を提供し、これは非一様性を持つ辞書に対して情報理論的に最適である。
• サンプル複雑度は有界であり、次元に伴い有利にスケーリングされる。過剰な状況（r = O(poly(d)))でも同様である。
• {ℓ₁, ℓ₂, ℓ∞}-MU セレクタは、固定汚染下でミニマックス的に最適であることが証明され、独立に価値のある理論的結果である。
• 解析で用いられた行列の無限大ノルム誤差指標は、従来の最大列方向誤差指標よりも鋭い。
• 主結果（定理3）は、初期化仮定（仮定B1）を含めるように修正され、現実的な確率的初期化のもとで有効性が保証された。