[論文レビュー] Subgradient Descent Learns Orthogonal Dictionaries

Yu Bai, Qijia Jiang+1 more|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques被引用数 32

ひとこと要約

本稿では、わずかな統計的仮定の下で、滑らかでない非凸な$$\ell_1$$最小化を用いて、確実に直交辞書を回復できるランダム初期化付きの部分勾配降下法を提案する。収束は高価な計算や繊細な初期化を必要とせず、ReLU活性化関数を用いた深層ネットワークの訓練に応用可能な可能性を秘めた滑らかでない多様な形状の解析に新たなツールを提供する。

ABSTRACT

This paper concerns dictionary learning, i.e., sparse coding, a fundamental representation learning problem. We show that a subgradient descent algorithm, with random initialization, can provably recover orthogonal dictionaries on a natural nonsmooth, nonconvex $\ell_1$ minimization formulation of the problem, under mild statistical assumptions on the data. This is in contrast to previous provable methods that require either expensive computation or delicate initialization schemes. Our analysis develops several tools for characterizing landscapes of nonsmooth functions, which might be of independent interest for provable training of deep networks with nonsmooth activations (e.g., ReLU), among numerous other applications. Preliminary experiments corroborate our analysis and show that our algorithm works well empirically in recovering orthogonal dictionaries.

研究の動機と目的

• 高価な計算や感受性の高い初期化を回避する、収束を保証できる辞書学習手法の開発。
• 辞書学習の滑らかでない非凸な形状の$$\ell_1$$最小化定式化の解析。
• データにやや厳しい統計的仮定を置いた条件下で、この滑らかでない問題に対する部分勾配降下法の理論的保証の確立。
• 辞書学習をはるかに超える分野に応用可能な、滑らかでない関数の形状を特徴付ける一般化されたツールの開発。

提案手法

• 本手法は、辞書学習の滑らかでない非凸な$$\ell_1$$最小化定式化に部分勾配降下法を適用する。
• 慎重に調整されたか、構造化された初期化の代わりに、ランダム初期化を用いる。
• 理論的解析では、特に臨界点周辺の滑らかでない関数の形状を特徴付けるために、新規のツールを活用する。
• データに対するやや厳しい統計的仮定の下で、真の直交辞書への収束が証明される。
• 従来の手法で一般的な反復的ハードスレッショーティングやその他の計算コストの高いステップを回避する。
• このフレームワークは、ReLU活性化関数を伴う深層学習などの、滑らかでない目的関数を含む他の問題へも拡張可能に設計されている。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化付き部分勾配降下法は、辞書学習において真の直交辞書に収束することができるか？
• RQ2 $$\ell_1$$ベースの辞書学習における滑らかでない非凸な形状の幾何学的・解析的性質は何か？
• RQ3 高価な計算や正確な初期化を要さずに理論的保証を確立できるか？
• RQ4 滑らかでない最適化形状を解析するための一般化されたツールはどのように開発できるか？

主な発見

• データに対するやや厳しい統計的仮定の下で、ランダム初期化付き部分勾配降下法は、直交辞書を確実に回復する。
• 従来の保証付き手法で一般的な高価な計算や繊細な初期化スキームの必要性を回避する。
• 理論的解析により、滑らかでない関数の形状を特徴付ける新規のツールが導入され、ReLU活性化関数を伴う深層ネットワークの訓練においても有用である可能性がある。
• 予備的な実験により、アルゴリズムが直交辞書を回復する上で実験的に有効であることが確認された。