[论文解读] A Unifying View on Implicit Bias in Training Linear Neural Networks

Chulhee Yun, Shankar Krishnan+1 more|arXiv (Cornell University)|Oct 6, 2020

Neural Networks and Applications参考文献 35被引用 12

一句话总结

本文提出了一种线性神经网络的统一张量公式，涵盖了全连接、对角和卷积架构，表明梯度流在变换后的输入空间中收敛于特定范数的隐式偏差。对于正交可分解网络，证明了在分类任务中收敛至 $\ell_{2/L}$ 最大间隔解，在回归任务中收敛至最小范数解，且假设条件显著弱于先前的工作。

ABSTRACT

We study the implicit bias of gradient flow (i.e., gradient descent with infinitesimal step size) on linear neural network training. We propose a tensor formulation of neural networks that includes fully-connected, diagonal, and convolutional networks as special cases, and investigate the linear version of the formulation called linear tensor networks. With this formulation, we can characterize the convergence direction of the network parameters as singular vectors of a tensor defined by the network. For $L$-layer linear tensor networks that are orthogonally decomposable, we show that gradient flow on separable classification finds a stationary point of the $\ell_{2/L}$ max-margin problem in a "transformed" input space defined by the network. For underdetermined regression, we prove that gradient flow finds a global minimum which minimizes a norm-like function that interpolates between weighted $\ell_1$ and $\ell_2$ norms in the transformed input space. Our theorems subsume existing results in the literature while removing standard convergence assumptions. We also provide experiments that corroborate our analysis.

研究动机与目标

• 统一分析全连接、对角和卷积等不同线性网络架构中的隐式偏差。
• 利用张量奇异向量表征线性张量网络中梯度流的收敛方向。
• 消除先前隐式偏差分析中常见的强收敛假设（如全局损失收敛或方向收敛）的依赖。
• 将已知的线性网络与矩阵分解结果推广至更广泛的正交可分解架构类别。
• 通过实验验证理论预测在各种网络类型中梯度流极限点的表现。

提出的方法

• 提出一种神经网络的一般张量公式，其中线性变体称为线性张量网络，以统一不同架构的分析。
• 定义源自网络结构的张量，并利用其奇异向量表征梯度流的收敛方向。
• 引入正交可分解网络的概念（假设1），以实现对极限点的精确表征。
• 利用梯度流动力学与奇异值分析，证明当初始化规模 $\alpha \to 0$ 时，各层奇异向量趋于对齐。
• 应用矩阵扰动理论与范数界分析，证明在小初始化下奇异值保持远离零。
• 分析当 $\alpha \to 0$ 时网络输出参数 $\bm{\beta}_{\rm fc}$ 的极限，表明其收敛至 $\bm{X}$ 的行空间中最小 $\ell_2$ 范数解。

实验结果

研究问题

• RQ1 如何构建一个统一框架，以描述不同线性网络架构中的隐式偏差？
• RQ2 线性张量网络中梯度流的收敛方向是什么，它与张量奇异向量有何关联？
• RQ3 在何种条件下，正交可分解网络上的梯度流会收敛至分类任务中的 $\ell_{2/L}$ 最大间隔解？
• RQ4 能否在不假设损失或参数收敛的前提下，表征欠定线性回归中的隐式偏差？
• RQ5 初始化规模 $\alpha$ 如何影响梯度流收敛至最小范数解的过程？

主要发现

• 对于线性全连接网络，梯度流收敛至 $\ell_2$ 最大间隔解，以更少的假设恢复了已知结果。
• 对于正交可分解网络，梯度流在变换后的输入空间中收敛至 $\ell_{2/\text{depth}}$ 最大间隔解，推广了先前对卷积和对角网络的研究结果。
• 在欠定回归中，梯度流收敛至全局最小值，该最小值在变换空间中最小化介于加权 $\ell_1$ 与 $\ell_2$ 范数之间的范数，且无需假设收敛。
• 对于深层线性全连接网络，当初始化规模 $\alpha \to 0$ 时，梯度流收敛至最小 $\ell_2$ 范数解，且在更弱条件下确认了已知行为。
• 网络输出参数 $\bm{\beta}_{\rm fc}$ 的极限位于 $\bm{X}$ 的行空间中，并收敛至唯一的最小 $\ell_2$ 范数解 $\bm{X}^T(\bm{X}\bm{X}^T)^{-1}\bm{y}$。
• 实验结果表明，梯度下降轨迹在不同初始化规模下均与全连接、对角和卷积网络的理论预测极限点一致。