[論文レビュー] Memorizing Gaussians with no over-parameterizaion via gradient decent on neural networks

Amit Daniely|arXiv (Cornell University)|Mar 28, 2020

Neural Networks and Applications参考文献 21被引用数 7

ひとこと要約

本稿では、直交初期化を施した深さ2のReLU型ニューラルネットワークに対して、勾配降下法の1ステップで、Ω(dq/log⁴d)個の独立でランダムにラベル付けされたd次元ガウス分布を記憶可能であることを示している。この手法は過剰パrameter化を伴わず、活性化関数の絶対値関数など、活性化関数にやや緩い条件を満たす場合に、活性化勾配を増幅する勾配更新を用いることで、近似的に最適な記憶能力を達成する。

ABSTRACT

We prove that a single step of gradient decent over depth two network, with $q$ hidden neurons, starting from orthogonal initialization, can memorize $Ω\left(\frac{dq}{\log^4(d)} ight)$ independent and randomly labeled Gaussians in $\mathbb{R}^d$. The result is valid for a large class of activation functions, which includes the absolute value.

研究の動機と目的

• 過剰パrameter化されたネットワークにおける勾配降下法が、近似的に最適なパrameter数でランダムなガウスデータを記憶できるかどうかという未解決問題に取り組むこと。
• 高次元におけるランダムにラベル付けされたガウス分布を、大規模に記憶可能であることを示すために、1ステップの勾配更新で十分であることを証明すること。
• 標準的な直交重み初期化と広範な活性化関数クラスに対して、過剰パrameter化なしに記憶を実現すること。
• 非標準の初期化を要件としない、または特定の活性化関数やデータ分布に限定された先行研究を拡張すること。

提案手法

• q個の隠れニューロンを有する深さ2のReLUに類似したネットワークと直交初期化を用いる。
• スケーリングされたヘッジ損失ℓ(ŷ,y) = (ln(d) − ŷy)+ を用い、ステップサイズη = m ln(d)/d で1ステップの勾配更新を実行する。
• ai ∈ {±1} で∑ai = O(√q) を満たす確率的初期化を採用し、高確率で有効である。
• ネットワーク出力の変化を、初期重みの周りでのσ(⟨wi + Δwi, x⟩) の1次テイラー展開により分析する。
• サブガウス分布およびサブエクスポネンシャル尾部不等式を用いて、活性化出力および勾配の逸脱を制御する。
• ガウス分布の濃縮とベルンシュタイン型不等式を適用し、ニューロン全体におけるσ′(⟨wi, xi⟩) の重み付き和の振る舞いを制御する。

実験結果

リサーチクエスチョン

• RQ1 標準的な直交初期化を用いた深さ2のネットワークにおいて、1ステップの勾配降下法で、次元が高次元のガウス入力を超線形に記憶できるか？
• RQ2 過剰パrameter化を回避しながら、O(m)パラメータで近似的に最適な記憶能力を達成できるか？
• RQ3 結果はガウス分布でない、または構造的データ分布へも拡張可能か？
• RQ4 活性化関数の導関数の平均がゼロでない（例：ReLU）ような関数に対しても、結果は頑健か？
• RQ5 解析を確率的勾配降下法やより一般的な初期化スキームへ拡張可能か？

主な発見

• ネットワークは、高確率でΩ(dq / log⁴d)個の独立でランダムにラベル付けされたd次元ガウス分布を記憶可能である。
• 1ステップの勾配更新後、すべてのiについてy_i h(W⁺)(x_i) = Ω(ln d) が成立し、分類マージンが強く保証される。
• 結果は、絶対値関数を含む広範な活性化関数クラスに適用可能であり、X ~ N(0,1) のときE[σ′(X)] = 0 を満たす。
• 解析により、活性化関数の非線形性のおかげで、事前活性化が0に近いニューロンの寄与度が勾配更新によって顕著に増幅されることが示された。
• 過剰パrameter化を回避する：パラメータ数はO(dq)であり、記憶容量はΩ(dq / log⁴d) に比例する。これはm ≈ dq / log⁴d のとき近似的に最適である。
• 証明は測度の濃縮と尾部バウンドに依存し、高次元の等方的ノイズ下でのランダム射影および活性化勾配の振る舞いを制御する。