[论文解读] Neural Networks can Learn Representations with Gradient Descent

Alex Damian, Jason D. Lee+1 more|arXiv (Cornell University)|Jun 30, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文表明，对两层神经网络使用梯度下降法可学习低维、与任务相关的多项式函数表示，样本复杂度为 $ n acksimeq d^2 r + d r^p $，显著优于核方法所需的 $ d^p $。该方法实现了与环境维度 $ d $ 无关的样本复杂度的高效迁移学习，突破了神经正切核范式下的限制。

ABSTRACT

Significant theoretical work has established that in specific regimes, neural networks trained by gradient descent behave like kernel methods. However, in practice, it is known that neural networks strongly outperform their associated kernels. In this work, we explain this gap by demonstrating that there is a large class of functions which cannot be efficiently learned by kernel methods but can be easily learned with gradient descent on a two layer neural network outside the kernel regime by learning representations that are relevant to the target task. We also demonstrate that these representations allow for efficient transfer learning, which is impossible in the kernel regime. Specifically, we consider the problem of learning polynomials which depend on only a few relevant directions, i.e. of the form $f^\star(x) = g(Ux)$ where $U: \R^d o \R^r$ with $d \gg r$. When the degree of $f^\star$ is $p$, it is known that $n \asymp d^p$ samples are necessary to learn $f^\star$ in the kernel regime. Our primary result is that gradient descent learns a representation of the data which depends only on the directions relevant to $f^\star$. This results in an improved sample complexity of $n\asymp d^2 r + dr^p$. Furthermore, in a transfer learning setup where the data distributions in the source and target domain share the same representation $U$ but have different polynomial heads we show that a popular heuristic for transfer learning has a target sample complexity independent of $d$.

研究动机与目标

• 解释为何在实践中神经网络的泛化性能优于核方法，尽管理论分析表明情况并非如此。
• 研究在过参数化神经网络中，梯度下降在懒惰（NTK）范式之外的表示学习能力。
• 为具有低维潜在结构的多项式函数学习建立改进的样本复杂度界。
• 证明基于梯度下降的表示学习可实现高效迁移学习的可行性。
• 识别梯度下降在高维输入空间中成功学习表示的必要条件，包括一个必要的非退化假设。

提出的方法

• 分析在形式为 $ f^\star(x) = g(Ux) $ 的函数上训练的两层 ReLU 网络，其中 $ U \in \mathbb{R}^{d \times r} $ 且 $ d \gg r $。
• 利用随机矩阵理论和矩矩界，证明即使从随机初始化开始，梯度下降仍能学习与真实子空间 $ \operatorname{span}(U) $ 对齐的特征。
• 通过 Rademacher 复杂度建立泛化界，基于宽度和权重范数控制网络容量。
• 通过分析张量化权重更新的期望范数及其与目标函数结构的对齐性，推导样本复杂度界。
• 引入非退化假设，以排除表示学习失败的病态情况。
• 通过证明当表示 $ U $ 在不同领域间共享时，仅需 $ O(r^p) $ 个样本即可微调网络头部，实现迁移学习分析。

实验结果

研究问题

• RQ1 在过参数化神经网络上，梯度下降能否学习核方法无法捕捉的与任务相关的表示？
• RQ2 通过梯度下降学习低秩多项式函数的样本复杂度是多少？与基于核的方法相比如何？
• RQ3 当底层表示在任务间共享时，能否通过梯度下降实现高效的迁移学习？
• RQ4 在高维输入空间中，梯度下降成功学习表示的必要条件是什么？
• RQ5 当数据结构出现退化导致表示学习失败时，是否存在样本复杂度的根本下界？

主要发现

• 梯度下降学习到的表示能够张成真实的低维子空间 $ \operatorname{span}(U) $，从而实现对 $ f^\star(\cdot) = g(U\cdot) $ 的高效学习。
• 学习 $ p $ 次多项式且具有 $ r $ 个相关方向的样本复杂度为 $ n acksimeq d^2 r + d r^p $，严格优于核方法的 $ d^p $ 上界。
• 在迁移学习中，微调网络头部仅需 $ O(r^p) $ 个目标样本，与环境维度 $ d $ 无关，而从零开始预训练则需要 $ O(d^{\Omega(p)}) $ 个样本。
• 下界分析表明，若无非退化假设，则学习此类函数至少需要 $ \Omega(d^{p/2}) $ 个样本，证明该假设是必要的。
• 改进的样本复杂度是通过动态特征学习实现的，而非固定特征，这使其有别于神经正切核范式。
• 结果表明，基于梯度下降的表示学习可实现超越核方法分析局限的泛化与迁移学习。