[論文レビュー] Neural Networks Learning and Memorization with (almost) no Over-Parameterization

Amit Daniely|arXiv (Cornell University)|Nov 22, 2019

Stochastic Gradient Optimization Techniques参考文献 19被引用数 17

ひとこと要約

この論文は、2層ReLUニューラルネットワークにおける確率的勾配降下法（SGD）が、ランダムラベル付きデータを記憶可能であり、有界次数の多項式を学習可能であり、近似的に最適なネットワークサイズを用いてカーネル法を近似可能であることを示している。具体的には、単位球面 $\sigma^{d-1}$ 上の $m$ 個のサンプルに対して、$\tilde{O}(m)$ パラメータで、$1-\epsilon$ の割合を記憶可能であり、$\tilde{O}(m/\epsilon^2)$ ステップのSGDで実現可能である。主な貢献は、過剰パラメータ化を避け、近似的に最適なサンプル数、パラメータ数、実行時間の複雑さを達成したことである。

ABSTRACT

Many results in recent years established polynomial time learnability of various models via neural networks algorithms. However, unless the model is linear separable, or the activation is a polynomial, these results require very large networks -- much more than what is needed for the mere existence of a good predictor. In this paper we prove that SGD on depth two neural networks can memorize samples, learn polynomials with bounded weights, and learn certain kernel spaces, with near optimal network size, sample complexity, and runtime. In particular, we show that SGD on depth two network with $ ilde{O}\left(\frac{m}{d} ight)$ hidden neurons (and hence $ ilde{O}(m)$ parameters) can memorize $m$ random labeled points in $\mathbb{S}^{d-1}$.

研究の動機と目的

• 深層学習における理論的学習可能性と実際のネットワークサイズのギャップを、過剰パラメータ化を避けることで埋める。
• 2層ネットワークにおけるSGDが、近似的に最適なパラメータ数を用いて、ランダムデータを記憶可能であることを示す。
• 有界データ分布下で、多項式およびカーネル空間が最小限のネットワークサイズで学習可能であることを証明する。
• ReLUやハッチェス損失などの標準的な活性化関数が、$m^2$ パラメータを必要としない効率的学習を可能にすることを確立する。

提案手法

• 2層ReLUネットワークに $2q$ 個の隠れニューロンを用い、新しい重み初期化法（$W$ を標準正規分布の複製、$\mathbf{u}$ を大きな定数 $B$ 及びその負の値の複製とする）を導入し、SGD訓練を分析する。
• 学習問題をベクトル型ランダム特徴量スキームに還元し、集中・反集中不等式を用いて解析可能にする。
• $\mathbb{S}^{d-1}$ 上の $R$-有界分布（$\mathbb{E}_\mathbf{x} \langle \mathbf{u}, \mathbf{x} \rangle^2 \leq R^2/d$）の概念を導入し、一般化および一般化誤差を制御する。
• エルミート多項式展開と双対活性化関数を用い、ネットワーク出力をカーネル空間および多項式近似と関連付ける。
• 高確率的集中不等式と和集合補題を用い、ネットワーク出力がターゲット関数から逸脱する確率を抑え込む。
• 有界分布が $O(1)$ の場合、SGDは高確率で $O\left(\sqrt{\frac{m \log^{c'+2}(m/\delta)}{dq}}\right)$ の一般化誤差を達成する。

実験結果

リサーチクエスチョン

• RQ1 2層ReLUネットワークにおけるSGDは、$\mathbb{S}^{d-1}$ 上の $m$ 個のランダムラベル付き点を、$\tilde{O}(m)$ パラメータで記憶可能か？
• RQ2 $O(1)$-有界分布下で、SGDが有界次数の多項式を学習するのに必要な最小ネットワークサイズは何か？
• RQ3 2層ネットワークにおけるSGDを用いて、近似的に最適なパラメータ数と実行時間でカーネル空間を学習可能か？
• RQ4 この設定下で、データ分布の有界性がSGDの一般化およびサンプル複雑さに与える影響は何か？
• RQ5 提案された初期化スキームは、記憶および学習タスクにおける近似的に最適な収束を可能にするか？

主な発見

• 2層ReLUネットワークにおけるSGDは、$\tilde{O}(m)$ パラメータを用い、$\mathbb{S}^{d-1}$ 上の $m$ 個のランダムラベル付き点の $1-\epsilon$ 分の1を記憶可能であり、$\tilde{O}(m/\epsilon^2)$ ステップのSGDで実現可能である。
• $O(1)$-有界分布下では、次数 $\leq c$ かつ係数ノルム $\leq M$ の偶数多項式のクラスが、$\tilde{O}(M^2)$ パラメータと $\tilde{O}(m/\epsilon^2)$ ステップで学習可能である。
• $m = d^c$ のとき、$q$ 個の隠れニューロンを用いるネットワークは、高確率で $O\left(\sqrt{\frac{m \log^{c'+2}(m/\delta)}{dq}}\right)$ の一般化誤差を達成する。
• 単位球面上の一様分布、離散的立方体 $\{\pm 1/\sqrt{d}\}^d$、$m = \omega(d)$ を満たすランダム点集合はすべて $O(1)$-有界であり、自然なデータ分布に対しても本結果が適用可能である。
• $R$-有界分布下では、パラメータ数が $O(1)$-有界の場合の $O(R^2)$ 倍にスケーリングされるが、実行時間は $\tilde{O}(m/\epsilon^2)$ のまま維持される。
• 本分析により、過剰パラメータ化は記憶や学習に必要ではないことが示され、近似的に最適なネットワークサイズがあればSGDが成功することが確認された。