[論文レビュー] Backward Feature Correction: How Deep Learning Performs Deep Learning

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Jan 13, 2020

Tensor decomposition and applications参考文献 88被引用数 56

ひとこと要約

この論文は、勾配降下法（SGD）を用いて複雑で階層的な関数を効率的に学習する深層ニューラルネットワークのメカニズムを説明するための『後向き特徴補正』を導入している。過剰パラメータ化された深層ネットワークが、特定の高次多項式関数を多項式時間（poly(d)）と多項式サンプル数で学習できることを証明しており、非階層的メソッド（例：カーネル法）は指数的複雑性に直面する。これにより、深層学習がサンプル数と時間の両面で根本的な優位性を示していることが明らかになった。

ABSTRACT

How does a 110-layer ResNet learn a high-complexity classifier using relatively few training examples and short training time? We present a theory towards explaining this in terms of hierarchical learning. We refer hierarchical learning as the learner learns to represent a complicated target function by decomposing it into a sequence of simpler functions to reduce sample and time complexity. This paper formally analyzes how multi-layer neural networks can perform such hierarchical learning efficiently and automatically by applying SGD. On the conceptual side, we present, to the best of our knowledge, the FIRST theory result indicating how deep neural networks can be sample and time efficient on certain hierarchical learning tasks, when NO KNOWN non-hierarchical algorithms (such as kernel method, linear regression over feature mappings, tensor decomposition, sparse coding, and their simple combinations) are efficient. We establish a principle called backward feature correction, where training higher layers in the network can improve the features of lower level ones. We believe this is the key to understand the deep learning process in multi-layer neural networks. On the technical side, we show for every input dimension $d > 0$, there is a concept class consisting of degree $\omega(1)$ multi-variate polynomials so that, using $\omega(1)$-layer neural networks as learners, SGD can learn any target function from this class in $\mathsf{poly}(d)$ time using $\mathsf{poly}(d)$ samples to any $\frac{1}{\mathsf{poly}(d)}$ error, through learning to represent it as a composition of $\omega(1)$ layers of quadratic functions. In contrast, we present lower bounds stating that several non-hierarchical learners, including any kernel methods, neural tangent kernels, must suffer from $d^{\omega(1)}$ sample or time complexity to learn this concept class even to $d^{-0.01}$ error.

研究の動機と目的

• 限られたデータと訓練時間の中でも、複雑な学習タスクにおいて深層ニューラルネットワークが高いサンプル効率と時間効率を達成する理由を説明すること。
• 深層ネットワークにおける階層的特徴学習を可能にする根本的な学習メカニズム「後向き特徴補正」を同定すること。
• 高次多項式関数のクラスに対して、深層ネットワークが既知の非階層的学習手法（例：カーネル法、スパースコーディング）をすべて上回ることを形式的に証明すること。
• 非階層的メソッドが同じタスクに対して超多項式のサンプル数または時間複雑性を要することを示す理論的境界を確立すること。

提案手法

• 高次の層が低次の層で学習された特徴をSGD最適化中に修正するという、後向き特徴補正を訓練メカニズムとして提案する。
• 深さが ω(1) の深層ネットワークを、深さが ω(1) の多変数多項式の概念クラスの学習者として分析する。
• 過剰パラメータ化されたネットワークをSGDで訓練し、ターゲット関数を ω(1) 層の二次関数の合成として表現する。
• 任意のターゲット関数を 1/poly(d) の誤差で学習する際、多項式時間と多項式サンプル数の収束保証を理論的に確立する。
• カーネル法、ニューラルトランジットカーネル、スパースコーディングを含む非階層的学習者との性能比較を行う。
• 下界解析を用いて、非階層的メソッドが定数誤差（d^{-0.01}）を達成するのに対しても、d^ω(1) の複雑性を要することを証明する。

実験結果

リサーチクエスチョン

• RQ1 非階層的メソッドが失敗する階層的学習タスクにおいて、どうして深層ニューラルネットワークがサンプル効率と時間効率を達成できるのか？
• RQ2 深層ネットワークが訓練中に複雑な関数を単純な階層的コンポonentに自動的に分解するメカニズムは何か？
• RQ3 高いモデル容量を持つにもかかわらず、少数の例と短い訓練時間でなぜ深層ネットワークは一般化性能が優れているのか？
• RQ4 非階層的学習手法が特定の関数クラスに対して根本的に深層ネットワークより非効率であることを形式的に証明できるか？
• RQ5 SGD訓練中に後向き特徴補正は、下位層の表現をどのように改善するのか？

主な発見

• 深さが ω(1) の深層ネットワークは、SGDを用いて、深さが ω(1) の多変数多項式のクラスに属する任意のターゲット関数を、多項式時間と多項式サンプル数で学習可能である。
• この概念クラスに対して、任意のカーネル法やニューラルトランジットカーネルは、d^{-0.01} の誤差を達成するためには d^ω(1) のサンプル数または時間複雑性を要するため、非効率であることが証明された。
• 後向き特徴補正により、高次の層が低次の層の特徴を改善でき、深層ネットワークにおける階層的学習の核心的メカニズムを形成する。
• 本論文は、既知の非階層的アルゴリズムが非効率である階層的タスクにおいて、深層ネットワークがサンプル数と時間の両面で効率的であることを示す最初の理論的結果を確立した。
• 線形回帰による特徴マッピングやテンソル分解を含む非階層的学習者も、このクラスにおいて超多項式の複雑性に直面することが判明した。
• 理論的枠組みにより、深層学習の効率性がSGDを通じた階層的関数分解の暗黙的実行に起因することを示した。