[論文レビュー] Neural Networks can Learn Representations with Gradient Descent

Alex Damian, Jason D. Lee+1 more|arXiv (Cornell University)|Jun 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、2層ニューラルネットワークにおける勾配降下法が、多項式関数のための低次元でタスク関連の表現を学習できることを示しており、サンプル複雑度 $ n acksimeq d^2 r + d r^p $ を達成する。これはカーネル法の $ d^p $ の要件よりも顕著に改善されたものである。この手法により、環境次元 $ d $ に依存しないサンプル複雑度で効率的な転移学習が可能となり、ニューラルトランゼントカーネル（NTK）の枠組みの制限を打ち破る。

ABSTRACT

Significant theoretical work has established that in specific regimes, neural networks trained by gradient descent behave like kernel methods. However, in practice, it is known that neural networks strongly outperform their associated kernels. In this work, we explain this gap by demonstrating that there is a large class of functions which cannot be efficiently learned by kernel methods but can be easily learned with gradient descent on a two layer neural network outside the kernel regime by learning representations that are relevant to the target task. We also demonstrate that these representations allow for efficient transfer learning, which is impossible in the kernel regime. Specifically, we consider the problem of learning polynomials which depend on only a few relevant directions, i.e. of the form $f^\star(x) = g(Ux)$ where $U: \R^d o \R^r$ with $d \gg r$. When the degree of $f^\star$ is $p$, it is known that $n \asymp d^p$ samples are necessary to learn $f^\star$ in the kernel regime. Our primary result is that gradient descent learns a representation of the data which depends only on the directions relevant to $f^\star$. This results in an improved sample complexity of $n\asymp d^2 r + dr^p$. Furthermore, in a transfer learning setup where the data distributions in the source and target domain share the same representation $U$ but have different polynomial heads we show that a popular heuristic for transfer learning has a target sample complexity independent of $d$.

研究の動機と目的

• 理論的解析が示唆するのとは対照的に、実際のニューラルネットワークがカーネル法よりも一般化性能に優れている理由を説明すること。
• ラージ（NTK）の枠組みを超えて、過パラメータ化されたニューラルネットワークにおける勾配降下法の表現学習能力を調査すること。
• 低次元の潜在的構造を持つ多項式関数を学習するための、改善されたサンプル複雑度の境界を確立すること。
• 勾配降下法に基づく表現学習を用いた、効率的な転移学習の可能性を実証すること。
• 勾配降下法による表現学習が、証明可能に有効であるための条件を同定すること、特に退化のない前提条件を含む。

提案手法

• 関数 $ f^\star(x) = g(Ux) $ の形をとる関数に対して、2層ReLUネットワークを勾配降下法で学習する。ここで $ U \in \mathbb{R}^{d \times r} $ であり、$ d \gg r $ である。
• ランダム行列理論とモーメントの境界を用いて、勾配降下法が初期化のランダム性に関係なく、真の部分空間 $ \operatorname{span}(U) $ と整合する特徴を学習することを示す。
• ラデマッハ複雑度を用いた一般化境界を確立し、ネットワークの容量を幅と重みのノルムに基づいて制御する。
• 期待されるテンソル化された重み更新のノルムと、ターゲット関数の構造との整合性を分析することで、サンプル複雑度の境界を導出する。
• 表現学習が失敗する病理的状況を排除するための非退化仮定を導入する。
• 転移学習の分析を適用し、表現 $ U $ が複数のドメイン間で共有されている場合、ヘッドのファインチューニングに $ O(r^p) $ のサンプルで十分であることを示す。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたニューラルネットワークにおける勾配降下法は、カーネル法が捉えきれないタスク関連の表現を学習できるか？
• RQ2 勾配降下法による低ランク多項式関数の学習におけるサンプル複雑度は何か？ そしてカーネルベースの手法と比較してどうなるか？
• RQ3 共有された表現構造を持つタスク間で、勾配降下法を用いた効率的な転移学習が可能か？
• RQ4 高次元入力空間において、勾配降下法が表現を効果的に学習するための条件は何か？
• RQ5 表現学習がデータ構造の退化によって失敗する場合、サンプル複雑度に根本的な下界はあるか？

主な発見

• 勾配降下法は真の低次元部分空間 $ \operatorname{span}(U) $ を張る表現を学習し、$ f^\star(\cdot) = g(U\cdot) $ の効率的学習を可能にする。
• 次数 $ p $ の多項式関数を、$ r $ 個の関連する方向で学習するためのサンプル複雑度は $ n \backsimeq d^2 r + d r^p $ であり、カーネル法の $ d^p $ の境界よりも厳密に優れている。
• 転移学習において、ヘッドのファインチューニングには $ O(r^p) $ のターゲットサンプルで十分であり、環境次元 $ d $ に依存しない。一方、事前学習からスクラッチで学習する場合には $ O(d^{\Omega(p)}) $ のサンプルが必要である。
• 下界の結果により、非退化仮定がなければ、このような関数の学習に $ \Omega(d^{p/2}) $ のサンプルが必要であることが示され、仮定が必要不可欠であることが証明された。
• 改善されたサンプル複雑度は、固定された特徴ではなく、動的特徴学習によって達成されており、NTKの枠組みとは明確に異なる。
• 本研究の結果は、勾配降下法による表現学習が、カーネル法の分析の制限を超えて一般化と転移学習を可能にすることを示している。