[論文レビュー] Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK

Yuanzhi Li, Tengyu Ma+1 more|arXiv (Cornell University)|Jul 9, 2020

Stochastic Gradient Optimization Techniques参考文献 56被引用数 6

ひとこと要約

この論文は、勾配降下法で訓練される過パラメータ化された2層ReLUニューラルネットワークが、多項式時間および多項式サンプルで、人口損失 $o(1/d)$ を達成できることを示している。一方、同じ条件下で任意のカーネル法（ニューラルタングエント・カーネルを含む）が達成できるのは、最大で $\tilde{\bigOmega}(1/d)$ の損失に留まることを証明している。この結果は、過パラメータ化された設定における勾配ベースの学習とカーネル法の間の明確な一般化ギャップを確立する。

ABSTRACT

We consider the dynamic of gradient descent for learning a two-layer neural network. We assume the input $x\in\mathbb{R}^d$ is drawn from a Gaussian distribution and the label of $x$ satisfies $f^{\star}(x) = a^{ op}|W^{\star}x|$, where $a\in\mathbb{R}^d$ is a nonnegative vector and $W^{\star} \in\mathbb{R}^{d imes d}$ is an orthonormal matrix. We show that an over-parametrized two-layer neural network with ReLU activation, trained by gradient descent from random initialization, can provably learn the ground truth network with population loss at most $o(1/d)$ in polynomial time with polynomial samples. On the other hand, we prove that any kernel method, including Neural Tangent Kernel, with a polynomial number of samples in $d$, has population loss at least $Ω(1 / d)$.

研究の動機と目的

• 過パラメータ化された2層ReLUニューラルネットワークが、ニューラルタングエント・カーネル（NTK）の枠組みを超えて、勾配降下法による一般化性能を理解すること。
• 過パラメータ化された設定において、勾配降下法とカーネル法の間の一般化ギャップを形式的に確立すること。
• 正規直交重み構造と非負の活性化係数を有する2層ReLUネットワークにおける切り捨て勾配降下法のダイナミクスを分析すること。
• 勾配降下法が $o(1/d)$ の定数でない人口損失を達成できることを証明する一方で、カーネル法は $\/tilde{\bigOmega}(1/d)$ に本質的に制限されることを示すこと。

提案手法

• 著者たちは、$f^\star(x) = \sum_{i=1}^d a_i |w_i^\top x|$ としてターゲット関数をモデル化し、$a_i \in [1/(\kappa d), \kappa/d]$、$\sum a_i = 1$、$\{w_i^\star\}$ が正規直交基底を形成するように定義する。
• 学生ネットワークを $f_W(x) = \frac{1}{m} \sum_{i=1}^m \|w_i\| \cdot \operatorname{ReLU}(w_i^\top x)$ として再パrameter化することで、ノルム制御の下でのニューロン重みの勾配更新を可能にする。
• 切り捨て勾配降下法が用いられ、$\ell_2$ ノルムがしきい値を超えるニューロンの勾配がゼロに設定され、発散を防ぐ。
• 入力分布におけるブールフーリエ解析を活用し、$x = \bar{x} \circ \tau$（$\tau \sim \operatorname{Uniform}(\{-1,1\}^d)$）として扱い、ターゲット関数と学生関数のフーリエ係数を比較する。
• 証明では、フーリエ係数行列のランクに関する議論を用いて、$\mathcal{S}_{gd}$ と呼ばれる有利な重み配置の集合を構築し、この集合では誤差 $o(1/d)$ でターゲット関数を近似可能であることを示す。
• ターゲット関数と学生関数のフーリエ係数からなる行列のランクを用いた背理法により、カーネル法が $\tilde{\bigOmega}(1/d)$ より良い誤差を達成できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された2層ReLUネットワークにおける勾配降下法が、正規直交重みと非負の係数を有するターゲット関数に対して、人口損失 $o(1/d)$ を達成できるか。
• RQ2 過パラメータ化された設定において、勾配降下法とカーネル法（NTKを含む）の間には、明確な一般化ギャップが存在するか。
• RQ3 この設定において、勾配降下法の暗黙の正則化が、カーネル法の性能限界を超えるために活用可能か。
• RQ4 特に、絶対値関数と正規直交基底を有するターゲット関数の構造が、優れた一般化を可能にする役割を果たすか。

主な発見

• 過パラメータ化された2層ReLUネットワークにおける勾配降下法は、多項式時間および多項式サンプルで、人口損失 $o(1/d)$ を達成する。
• NTKを含む任意のカーネル法の一般化誤差は、多項式サンプルでさえも、$\tilde{\bigOmega}(1/d)$ に下限づけられる。
• 証明により、有利な重み配置の集合 $\mathcal{S}_{gd}$ のサイズが $d^{\Omega(r)}$ であることが示され、良好な一般化を実現する十分な容量を保証する。
• 解析により、ターゲット関数のフーリエ係数はサイズ $r$ の部分集合上にのみサポートされており、学生ネットワークが低誤差を達成するにはこれらの係数を一致させる必要があることが明らかになった。
• ターゲット関数のフーリエ係数行列のランクは $d^{\Omega(r)}$ であり、$o(1/d)$ の誤差内で近似するにはこのランクを保持する必要があるが、カーネル法はこれを満たせない。
• この結果は、過パラメータ化された設定においてカーネル法に根本的な制限があることを示し、勾配降下法の一般化性能を上回ることはできないことを示している。