[論文レビュー] What Can ResNet Learn Efficiently, Going Beyond Kernels?

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|May 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 61

ひとこと要約

本論文は、3層の ResNet が 分布非依存の概念クラスを効率的に学習できることを示し、そのクラスには滑らかな活性化を用いる小さな ResNet によって学習される関数が含まれる、さらにニューラルネットワークがこのクラスに対して一般化とサンプル効率の点でカーネル法を上回ることを示す。

ABSTRACT

How can neural networks such as ResNet efficiently learn CIFAR-10 with test accuracy more than 96%, while other methods, especially kernel methods, fall relatively behind? Can we more provide theoretical justifications for this gap? Recently, there is an influential line of work relating neural networks to kernels in the over-parameterized regime, proving they can learn certain concept class that is also learnable by kernels with similar test error. Yet, can neural networks provably learn some concept class BETTER than kernels? We answer this positively in the distribution-free setting. We prove neural networks can efficiently learn a notable class of functions, including those defined by three-layer residual networks with smooth activations, without any distributional assumption. At the same time, we prove there are simple functions in this class such that with the same number of training examples, the test error obtained by neural networks can be MUCH SMALLER than ANY kernel method, including neural tangent kernels (NTK). The main intuition is that multi-layer neural networks can implicitly perform hierarchical learning using different layers, which reduces the sample complexity comparing to "one-shot" learning algorithms such as kernel methods. In a follow-up work [2], this theory of hierarchical learning is further strengthened to incorporate the "backward feature correction" process when training deep networks. In the end, we also prove a computation complexity advantage of ResNet with respect to other learning methods including linear regression over arbitrary feature mappings.

研究の動機と目的

• ニューラルネットワークがカーネル法が達成できる範囲を超えた分布非依存の概念クラスを効率的に学習できるかを調査する。
• 同じ課題に対して ResNet ベースの学習とカーネル法（NTK を含む）の一般化性能を比較する。
• 多層残差アーキテクチャが階層的または前方型の特徴学習を可能にし、サンプル複雑さを低減する様子を示す。
• 分布非依存設定におけるニューラルネットとカーネル法の理論的分離結果を提供する。
• 任意の特徴写像に対する線形回帰に対する ResNet の計算複雑性優位性を示す。

提案手法

• ReLU 活性化を持つ三層残差ネットワークとボトルネックパラメータ化を用いて学習器を定義する: out(x) = A(σ(Wx + b1) + σ(U σ(Wx + b1) + b2)).
• 標的概念クラスを H(x) = F(x) + α G(F(x)) と定義し、F と G は二層ネットワークとする；不確実性（agnostic）および分布非依存の設定の下で解析する。
• SGD がネットワークを効率的に学習し母集団リスク ≤ δ を達成する N = Õ(CF^2 / δ^2) サンプルで、G(F) の組成に依存せず、という証明を行う。
• カーネル法と対比し、任意のカーネルが同等かそれより大きなサンプル要件で最大でも δ^2 のリスクを達成する分布が存在することを示す。
• 階層的学習の直感を示す：下位層が先に F に類する特徴を学習し、それによって上位層が G(F) をより少ないサンプルで学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークが分布非依存設定で、カーネル法よりも著名な関数クラスを理論的に効率的に学習できるか？
• RQ2 滑らかな活性化を持つ3層 ResNet は NTK や他のカーネルと比較して H(x) = F(x) + αG(F(x)) を学習するためのサンプル効率の良い方法を提供するか？
• RQ3 このクラスに対して、分布非依存の仮定の下で SGD で学習したニューラルネットとカーネル法との間に証明可能な一般化ギャップが存在するか？
• RQ4 この問題に対して、任意の特徴写像に対する線形回帰よりも ResNet アーキテクチャが計算複雑性の利点を提供できるか？

主な発見

• 三層 ResNet は、H(x) = F(x) + αG(F(x)) という概念クラスを母集団リスク δ で学習でき、N = Õ(CF^2 / δ^2) サンプルで、G の組成に依存しない。
• 単純な分布が存在し、任意のカーネル法は母集団リスクを α^2 を超えて達成できない一方、ResNet は多項式時間でほぼ α^3.9 を達成する。
• ResNet は前方特徴学習の帰納的バイアスを示し、下位層がより単純な特徴を学習して上位層がより複雑な信号を捉えるのを助ける。
• 任意の特徴写像に対する線形回帰に対する ResNet の計算複雑性の優位が確立される。
• 本研究は分布非依存設定における ReLU 活性化を用いるニューラルネットとカーネル法の初めての証明可能な分離を提供する。