[論文レビュー] On the Stability of Deep Networks

Raja Giryes, Guillermo Sapiro+1 more|arXiv (Cornell University)|Dec 18, 2014

Sparse and Compressive Sensing Techniques参考文献 13被引用数 10

ひとこと要約

この論文は、ランダムなガウス重みを備えた深層ニューラルネットワークが、入力データの距離を保存する埋め込みを実現することを証明しており、層を跨いでメトリック構造が維持されることを示している。主な貢献は、このようなネットワークが特徴からデータを安定して回復できる理由の理論的裏付けであり、データの内在次元に応じて訓練データの必要数が指数関数的に増加することを、ガウス平均幅および被覆数を通じて形式化している。

ABSTRACT

In this work we study the properties of deep neural networks (DNN) with random weights. We formally prove that these networks perform a distance-preserving embedding of the data. Based on this we then draw conclusions on the size of the training data and the networks' structure. A longer version of this paper with more results and details can be found in (Giryes et al., 2015). In particular, we formally prove in the longer version that DNN with random Gaussian weights perform a distance-preserving embedding of the data, with a special treatment for in-class and out-of-class data.

研究の動機と目的

• ランダム重みを備えた深層ニューラルネットワークが、入力データの構造を保存するという経験的成果を理論的に説明すること。
• データの複雑さ（内在次元）と必要な訓練サンプル数の間の関係を確立すること。
• ランダム重みを備えた深層ネットワークが、特徴表現から入力データを安定して回復可能であることを形式化すること。
• 幾何確率的手法を用いて、連続する層における特徴埋め込みの安定性を分析すること。

提案手法

• i.i.d. 成分を備えたランダムガウス行列と半切断線形活性化関数を用いた1層のDNNの理論的分析。
• 高次元確率の結果（Plan & Vershynin, 2014; Klartag & Mendelson, 2005）を応用し、Gromov-Hausdorff意味での安定埋め込みを証明。
• 被覆数およびDudleyの不等式を用いて、層間におけるガウス平均幅の変化を上限付ける。
• Sudakovの最小化を用いた訓練サンプル数の上限の導出により、データの複雑さとサンプル複雑さの関係を結びつける。
• ガウス混合モデル（GMM）および部分空間の和のモデルへの結果の拡張により、幅が次元およびlog-Lに従って増加することを示す。
• 誤差がO(ω(K)/√m)で上限付けられる再構成プログラムAを通じた特徴からの入力データの再構成の形式的取り扱い。

実験結果

リサーチクエスチョン

• RQ1 ランダム重みを備えた深層ニューラルネットワークは、入力データのメトリック関係をどのように保存するのか？
• RQ2 このようなネットワークにおける効果的な一般化のための訓練サンプル数は、何によって決定されるのか？
• RQ3 ランダム重みを備えたDNNが生成する特徴から、入力データを安定して回復できるか？
• RQ4 データの内在次元は、ランダムDNNの安定性およびサンプル複雑さにどのように影響するか？
• RQ5 ランダムDNNの層を通過する間に、ガウス平均幅はどの程度変化するのか？

主な発見

• ランダムガウス重みと半切断線形活性化関数を備えた1層のDNNは、高確率で入力データポイント間の距離を保存する。これは、‖x−y‖₂ ≃ d(f(Mx),f(My)) として形式化される。
• 特徴からの入力データの再構成誤差は ε = O(ω(K)/√m) で上限付けられ、理論的に安定な回復が可能であることを示している。
• 各層における特徴空間の被覆数は、N(f(MK),ε) ≤ N(K, ε/(1 + ω(K)/√m)) と上界付けられ、メトリック歪みが制御可能であることを示している。
• L個の成分と次元kを備えたガウス混合モデル（GMM）において、ガウス平均幅 ω(K) は O(√(k + log L)) で上限付けられ、データの複雑さとネットワーク挙動の関係が明確にされる。
• 必要な訓練サンプル数は O(exp(ω(K)²/ε²)) とスケーリングされ、データの内在次元に指数関数的に依存することが示唆される。
• 結果は、サブガウス重み分布およびランダム畳み込みフィルタに対しても、圧縮センシングおよびランダム行列理論の既存技術を用いて拡張可能である。