[論文レビュー] Sparse Matrix Factorization

Behnam Neyshabur, Rina Panigrahy‎|arXiv (Cornell University)|Nov 13, 2013

Sparse and Compressive Sensing Techniques参考文献 15被引用数 23

ひとこと要約

この論文は、ランダムなスパarsity仮定の下で、深層線形ネットワークの構造を回復するための新しいアルゴリズムを提案する。深層ネットワークが最大 $ ilde{O}(n^{1/6})$ の深さであり、$d$-スパース行列を用いる場合、このアルゴリズムは相関に基づく回復と pruning 技術を活用することで、高い確率でネットワークアーキテクチャおよびトップ層の隠れユニット値を正確に再構築できることを示している。

ABSTRACT

We investigate the problem of factorizing a matrix into several sparse matrices and propose an algorithm for this under randomness and sparsity assumptions. This problem can be viewed as a simplification of the deep learning problem where finding a factorization corresponds to finding edges in different layers and values of hidden units. We prove that under certain assumptions for a sparse linear deep network with $n$ nodes in each layer, our algorithm is able to recover the structure of the network and values of top layer hidden units for depths up to $ ilde O(n^{1/6})$. We further discuss the relation among sparse matrix factorization, deep learning, sparse recovery and dictionary learning.

研究の動機と目的

• 深層学習と圧縮の動機から、総スパarsityを最小限に抑えるスパース行列の積への因子分解問題を扱う。
• ランダムなスパarsityおよび深さ制約の下で、出力行列からスパースな深層線形ネットワークを証明可能に正確に再構築するアルゴリズムを開発する。
• スパースなランダム深層ネットワークにおけるネットワーク構造および隠れユニット値の回復に関する理論的保証を確立する。
• スパース行列因子化、辞書学習、スパースコーディング、および深層学習との関係を調査する。
• 非線形スパース行列因子化に関する先行研究を、$\tilde{O}(n^{1/6})$ の深さまで拡張する。

提案手法

• 出力ノード間の相関分析を用いて、共通の隠れノードを同定する。これは、相関する出力ノードが隠れ層で正確に1つの非ゼロ列を共有すると仮定している。
• 相関する出力ノードのペアを接続し、両方に相関するすべてのノードに接続を拡張することで、候補となる隠れノードを構築する。
• 候補セットの大多数と相関のないノードを削除するプルーニングステップを適用し、各隠れノードの真のサポートを正確に回復する。
• 相関の符号に基づいてエッジの符号を回復し、隣接ノードとの整合性チェックにより誤りを是正する。
• 回復済みサポート集合内のノードとのペアワイズ内積の多数決を用いて、重みの大きさを推定する。
• 集中不等式および確率的バウンド（例：補題13）を用いて、相関推定誤差を制御し、高確率での回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 ランダムなスパarsity仮定の下で、深さが $\tilde{O}(n^{1/6})$ までのスパースな深層線形ネットワークは、出力行列から再構築可能か？
• RQ2 出力ノード間の相関情報のみを用いて、スパースな深層ネットワーク（接続および隠れユニット値）の構造はどのように再構築可能か？
• RQ3 スパース行列因子化が、ランダムなスパース行列における相関に基づく回復で信頼性を持って解けるようになる深さの理論的限界は何か？
• RQ4 スパース行列因子化は、深層学習の文脈で辞書学習およびスパースコーディングとどのように関係するか？
• RQ5 提案されたアルゴリズムは、より深いネットワーク向けの非線形スパース行列因子化へ拡張可能か？

主な発見

• 深さが $\tilde{O}(n^{1/6})$ までの深層ネットワークについて、高い確率で隠れ層の構造およびトップ層の隠れユニット値が正しく回復される。
• 回復は、隠れ層で正確に1つの非ゼロ列を共有する相関する出力ノードペアを特定することに依存しており、これにより候補隠れノードが構築される。
• プルーニングステップにより、同じ隠れノードサポートを持つノードのみが残り、誤検出の割合が $o(1)$ にまで低下する。
• 隣接ノードとの整合性チェックにより符号が高精度に回復され、大きさは回復済みサポート集合内のノードとの内積の多数決により推定される。
• 集中不等式を用いて相関推定誤差の理論的バウンドが導出され、ランダムスパarsity下でも頑健な回復が保証される。
• 従来の非線形スパース行列因子化の研究（深さが $O(\log_d n)$ までに制限されていた）を、はるかに大きな深さ領域 $\tilde{O}(n^{1/6})$ まで拡張する。