[论文解读] Implicit Regularization in ReLU Networks with the Square Loss

Gal Vardi, Ohad Shamir|arXiv (Cornell University)|Dec 9, 2020

Stochastic Gradient Optimization Techniques参考文献 36被引用 6

一句话总结

本文表明，对于带平方损失的 ReLU 网络，隐式正则化无法通过任何模型参数的显式函数精确捕捉，即使在单神经元或单隐藏层网络中也是如此。然而，它证明了 $β$-范数可对真实隐式偏差提供常数因子近似（在 2 倍以内），从而为泛化分析提供一个实用的代理。

ABSTRACT

Understanding the implicit regularization (or implicit bias) of gradient descent has recently been a very active research area. However, the implicit regularization in nonlinear neural networks is still poorly understood, especially for regression losses such as the square loss. Perhaps surprisingly, we prove that even for a single ReLU neuron, it is impossible to characterize the implicit regularization with the square loss by any explicit function of the model parameters (although on the positive side, we show it can be characterized approximately). For one hidden-layer networks, we prove a similar result, where in general it is impossible to characterize implicit regularization properties in this manner, except for the "balancedness" property identified in Du et al. [2018]. Our results suggest that a more general framework than the one considered so far may be needed to understand implicit regularization for nonlinear predictors, and provides some clues on what this framework should be.

研究动机与目标

• 理解使用平方损失训练的非线性神经网络中隐式正则化本质。
• 研究带平方损失的 ReLU 网络中的梯度流是否可由显式正则化函数 $Π(\mathbf{\theta})$ 描述。
• 确定此类网络中的隐式偏差是否可由已知范数（如 $β$-范数）近似。
• 挑战深度学习理论中显式正则化函数的主流框架。
• 为超越基于范数的刻画方式理解隐式偏差提供新的理论基础。

提出的方法

• 分析单个 ReLU 神经元网络在平方损失下的梯度流动力学，重点关注其收敛至零损失解的过程。
• 证明不存在非恒定函数 $Π(\mathbf{w})$ 可刻画单个 ReLU 神经元中的隐式偏差，因为此类函数在 $\mathbb{R}^d \setminus \{\mathbf{0}\}$ 上必须为常数。
• 建立 $β$-范数可对单个 ReLU 神经元中的真实隐式偏差提供常数因子近似（在 2 倍以内）。
• 将分析扩展至单隐藏层 ReLU 网络，表明尽管一般隐式偏差无法由参数的显式函数捕捉，但 Du 等人（2018）提出的平衡性特征仍成立。
• 利用缩放论证和旋转不变性构造反例，表明在等价数据变换下梯度流可收敛至不同解。
• 通过 $\Psi^{-1}$ 对参数空间进行变换，将网络参数与特征空间中的解相关联，从而实现对极限点的分析。

实验结果

研究问题

• RQ1 在带平方损失的单个 ReLU 神经元中，梯度流的隐式正则化是否可由任何非恒定权重函数刻画？
• RQ2 $β$-范数是否是带平方损失训练的 ReLU 网络中隐式偏差的有效近似？
• RQ3 在带平方损失的梯度流下，深层 ReLU 网络中观察到的平衡性特征是否依然成立？
• RQ4 非线性网络中的隐式偏差是否可由正则化函数捕捉，还是需要更一般的框架？
• RQ5 带零损失解的 ReLU 网络中，梯度流轨迹的几何与不变性特征是什么？

主要发现

• 对于带平方损失的单个 ReLU 神经元，不存在非恒定函数 $\mathcal{R}(\mathbf{w})$ 可精确刻画隐式正则化，因为此类函数在 $\mathbb{R}^d \setminus \{\mathbf{0}\}$ 上必须为常数。
• $\ell_2$-范数可对隐式偏差提供常数因子近似：若 $\mathbf{w}^*$ 是最小 $\ell_2$-范数的零损失解，则 $\|\mathbf{w}(\infty)\|_2 \leq 2\|\mathbf{w}^*\|_2$。
• 在单隐藏层 ReLU 网络中，一般隐式正则化无法由参数的任何显式函数捕捉，除 Du 等人（2018）识别出的平衡性特征外。
• 本文构造了反例，表明在旋转变换后的数据下，梯度流可收敛至不同极限点，即使数据与标签在旋转下等价，从而揭示了隐式偏差在该变换下不具有不变性。
• 结果表明，理解带平方损失的非线性模型中的隐式偏差需要超越基于范数的正则化框架。
• 分析表明，带平方损失的 ReLU 网络中的隐式偏差本质上比以往假设的更复杂，难以被标准正则化函数刻画。