[論文レビュー] Local stability and robustness of sparse dictionary learning in the presence of noise

Rodolphe Jenatton, Rémi Gribonval+1 more|arXiv (Cornell University)|Oct 2, 2012

Sparse and Compressive Sensing Techniques参考文献 38被引用数 28

ひとこと要約

この論文は、ノイズ下でのスパース辞書学習の局所的安定性およびロバスト性について、非漸近的な確率的保証を確立する。非漸近的解析により、信号次元のスケーリング、コherenCe、ノイズレベルを考慮し、過完備かつノイズのある設定下でも、真の基準辞書の近傍に局所的最小値が存在する確率が高くなることを証明する。

ABSTRACT

A popular approach within the signal processing and machine learning communities consists in modelling signals as sparse linear combinations of atoms selected from a learned dictionary. While this paradigm has led to numerous empirical successes in various fields ranging from image to audio processing, there have only been a few theoretical arguments supporting these evidences. In particular, sparse coding, or sparse dictionary learning, relies on a non-convex procedure whose local minima have not been fully analyzed yet. In this paper, we consider a probabilistic model of sparse signals, and show that, with high probability, sparse coding admits a local minimum around the reference dictionary generating the signals. Our study takes into account the case of over-complete dictionaries and noisy signals, thus extending previous work limited to noiseless settings and/or under-complete dictionaries. The analysis we conduct is non-asymptotic and makes it possible to understand how the key quantities of the problem, such as the coherence or the level of noise, can scale with respect to the dimension of the signals, the number of atoms, the sparsity and the number of observations.

研究の動機と目的

• 信号処理および機械学習分野におけるスパース辞書学習の実験的成功を理論的に裏付けるため、ノイズ下での安定性を分析すること。
• 非凸的スパースコーディング定式化における局所的最小値に関する理論的理解の不足を解消すること。
• 従来のノイズなし・アンダーコンプリートな辞書解析を、より現実的である過完備かつノイズのある信号の状況に拡張すること。
• コヒーレンス、ノイズレベル、スパarsity、信号次元といった主要な問題パラメータが、同定可能性および局所的収束にどのように影響するかを定量化すること。

提案手法

• 基準辞書から生成され、加法的ノイズを含むスパース信号の確率的モデルを定式化する。
• 非漸近的集中不等式を用いて、スパースコーディング目的関数の乖離を制限する。
• 原子間の相互コヒーレンスを制御するため、辞書にコヒーレンスに基づく仮定を適用する。
• 真の辞書の近傍で局所的最小値が見つかる確率の高確率下限を導出する。
• モーメントの上限と尾部不等式（例：サブガウスおよびサブワイブル尾部仮定）を用いて、重尾を持つ信号分布に対処する。
• ランダム行列理論および高次元確率論の結果を統合し、ノイズ下での最適化のランドスケープの挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが存在する状況下で、スパースコーディングが真の基準辞書の近傍に局所的最小値を有する条件は何か？
• RQ2 信号の数、スパarsityレベル、および辞書の過完備性は、真の辞書の回復確率にどのように影響するか？
• RQ3 スパースコーディングによる真の辞書の安定的回復が保証される最大許容ノイズレベルは何か？
• RQ4 コヒーレンスと信号次元は、真の辞書の近傍で局所的最小値が保証される領域のサイズにどのように影響するか？
• RQ5 過完備かつノイズのある辞書学習において、非漸近的かつ高確率的な局所的安定性の保証を導出できるか？

主な発見

• 高い確率で、スパースコーディング目的関数の局所的最小値が真の基準辞書の近傍に存在する。これは、辞書が過完備であり、信号にノイズが存在する状況下でも同様に成り立つ。
• そのような局所的最小値が存在する確率は、信号次元、原子数、スパarsity、ノイズレベルに依存する非漸近的式によって下限から抑えられる。
• 真の辞書の近傍の領域のサイズは、観測数の増加およびノイズレベルの逆数に伴い、有利にスケーリングされる。
• コヒーレンスとノイズレベルが信号次元およびスパarsityと相対的に特定のスケーリング条件を満たす場合、ノイズに対するロバスト性が保証される。
• 解析により、同定可能性が、原子数の対数的スケーリングとスパarsityの多項式的スケーリングに従って必要な信号数で達成可能であることが示された。
• 本研究の結果は、従来のノイズなしの解析をより現実的な状況に拡張し、画像処理や音声処理などの応用分野におけるスパース辞書学習の実験的成功を理論的に裏付けるものである。