[論文レビュー] Sparse and spurious: dictionary learning with noise and outliers

Rémi Gribonval, Rodolphe Jenatton+1 more|arXiv (Cornell University)|Jul 19, 2014

Sparse and Compressive Sensing Techniques参考文献 42被引用数 5

ひとこと要約

この論文は、ノイズと外れ値が混在する条件下でも、スパース辞書学習における局所的最小値の存在を確立し、高い確率で真の基準辞書が局所最適解の近傍で回復されることを証明している。非漸近的確率的解析によるコherエンスとスパarsityスケーリングを用いて、過剰に定義された（overcomplete）、ノイズが混在し、外れ値が存在する信号の解析により、先行研究を拡張している。

ABSTRACT

A popular approach within the signal processing and machine learning communities consists in modelling signals as sparse linear combinations of atoms selected from a learned dictionary. While this paradigm has led to numerous empirical successes in various fields ranging from image to audio processing, there have only been a few theoretical arguments supporting these evidences. In particular, sparse coding, or sparse dictionary learning, relies on a non-convex procedure whose local minima have not been fully analyzed yet. In this paper, we consider a probabilistic model of sparse signals, and show that, with high probability, sparse coding admits a local minimum around the reference dictionary generating the signals. Our study takes into account the case of over-complete dictionaries, noisy signals, and possible outliers, thus extending previous work limited to noiseless settings and/or under-complete dictionaries. The analysis we conduct is non-asymptotic and makes it possible to understand how the key quantities of the problem, such as the coherence or the level of noise, can scale with respect to the dimension of the signals, the number of atoms, the sparsity and the number of observations.

研究の動機と目的

• ノイズと外れ値が存在する状況下でスパース辞書学習の経験的成功を理論的に裏付けること。
• 非凸的なスパースコーディング最適化において、真の辞書の近傍に局所的最小値が存在することを分析すること。
• 先行の同定可能性の結果を、ノイズなしでかつ過小に定義された設定にとどまらず、現実的な信号条件へと拡張すること。
• コherエンス、ノイズレベル、スパarsity、信号次元といった主要なパラメータが回復保証に与える影響を定量化すること。
• 確率的信号モデルに基づく、辞書学習の安定性とロバストネスに対する非漸近的バウンドを提供すること。

提案手法

• 制限付きで非ゼロの係数と加法的ノイズを持つスパース信号の確率的モデルを用いて、現実的な信号生成をモデル化する。
• 真の再構成誤差と推定誤差の期待値の差を用いて、スパースコーディングの目的関数の最適化の様相を分析する。
• 蓄積的コherエンス仮定と制限付き等長性性質（RIP）を適用し、真の辞書の近傍における最適化目的関数の振る舞いを制御する。
• 正確な回復の議論（命題3）を用いて、プロキシ目的関数が真の目的関数を真の辞書の近傍で近似できることを示す。
• 凸双対性と高確率集中不等式を活用し、ほぼ確実な結果を高確率の保証に置き換えることで、ロバストネスを向上させる。
• 最悪ケースのバウンド（例：$ M_{oldsymbol{eta}} $）を期待値に基づくバウンドに置き換えるフレームワークを導入し、理論的保証の保守的傾向を軽減する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが存在する状況下で、スパース辞書学習が真の基準辞書の近傍に局所的最小値を有する条件は何か？
• RQ2 辞書のコherエンスとスパarsityレベルは、最適化の様相の安定性にどのように影響するか？
• RQ3 ノイズと外れ値が混在する信号において、辞書回復の理論的保証を過剰に定義された辞書へと拡張できるか？
• RQ4 真の辞書の周囲の局所的最小値が存在する近傍の半径と、信号対ノイズ比やスパarsityとの関係は何か？
• RQ5 高確率的回復結果を、ほぼ確実な仮定に代えて用いることで、理論的バウンドのロバストネスと実用的関連性を向上させられるか？

主な発見

• 高い確率で、ノイズと外れ値が存在する中でも、真の辞書の近傍にスパースコーディング目的関数の局所的最小値が存在する。
• この近傍の半径は、辞書の原子の対称性に起因して、フロベニウスノルムで $ O(1) $ に有界である。
• 解析により、真の目的関数とプロキシ目的関数の期待値の差が、半径 $ r = O(1) $ の球内で正であることが示され、局所的最適性が保証される。
• この手法により、保守的な最悪ケースバウンド（例：$ M_{oldsymbol{eta}} $）を期待値に基づくバウンドに置き換えることができ、実用的関連性が向上する。
• 係数の範囲に関する仮定を緩和することで、非常に過剰に定義された辞書（$ p rianglelesssim m^2 $ を超える）に対しても理論的保証を拡張できる。
• 集中不等式を用いることで、高確率的回復結果を導出でき、ほぼ確実な仮定を置き換え、モデル不適合に対するロバストネスが向上する。