[论文解读] Explicit regularization and implicit bias in deep network classifiers trained with the square loss

Tomaso Poggio, Qianli Liao|arXiv (Cornell University)|Dec 31, 2020

Stochastic Gradient Optimization Techniques参考文献 10被引用 7

一句话总结

本文对使用平方损失训练的深层ReLU网络进行了理论分析，表明批量归一化（BN）与权重衰减（WD）结合可产生显式正则化，使梯度流偏向最小范数解，实现最大间隔与更好的泛化性能。若无BN与WD，微小初始化带来的隐式偏差仍会倾向于高间隔解，从而解释为何在训练损失为零时仍能实现良好泛化。

ABSTRACT

Deep ReLU networks trained with the square loss have been observed to perform well in classification tasks. We provide here a theoretical justification based on analysis of the associated gradient flow. We show that convergence to a solution with the absolute minimum norm is expected when normalization techniques such as Batch Normalization (BN) or Weight Normalization (WN) are used together with Weight Decay (WD). The main property of the minimizers that bounds their expected error is the norm: we prove that among all the close-to-interpolating solutions, the ones associated with smaller Frobenius norms of the unnormalized weight matrices have better margin and better bounds on the expected classification error. With BN but in the absence of WD, the dynamical system is singular. Implicit dynamical regularization -- that is zero-initial conditions biasing the dynamics towards high margin solutions -- is also possible in the no-BN and no-WD case. The theory yields several predictions, including the role of BN and weight decay, aspects of Papyan, Han and Donoho's Neural Collapse and the constraints induced by BN on the network weights.

研究动机与目标

• 解释为何深层ReLU网络在平方损失下即使训练损失为零，仍能实现良好泛化，这与经典泛化理论相悖。
• 识别此类网络中良好测试性能背后的机制——显式与隐式正则化。
• 阐明批量归一化（BN）、权重衰减（WD）以及小初始化在塑造优化动态与泛化性能中的作用。
• 将优化动态与神经网络坍塌现象（Neural Collapse）相联系，并推导出收敛时对权重矩阵的约束。

提出的方法

• 分析在引入拉格朗日乘子以强制归一化权重矩阵满足单位Frobenius范数约束的改进平方损失上的梯度流动力学。
• 将BN与WD的影响建模为一个约束优化问题，其中拉格朗日乘子ν充当动态正则化项。
• 通过将网络分解为尺度因子ρ与归一化权重矩阵V_k，实现对范数与间隔之间权衡的分析。
• 推导出临界点满足∂f(x_j)/∂V_k = V_k f(x_j)的条件，该条件与神经网络坍塌现象及权重矩阵约束相关。
• 对比BN+WD与无BN/无WD的情形，表明前者对初始化不敏感，而后者依赖于初始ρ值以实现隐式偏差。
• 将理论结果应用于预测真实训练中的行为，包括收敛对初始化的依赖性以及归一化的作用。

实验结果

研究问题

• RQ1 批量归一化与权重衰减如何在使用平方损失训练的深层网络中导致最小范数、高间隔解？
• RQ2 当缺乏BN与WD时，小初始化在诱导对可泛化解的隐式偏差中起到何种作用？
• RQ3 在约束损失函数上的梯度流动力学如何解释过参数化网络中神经网络坍塌现象的出现？
• RQ4 为何缺乏BN与WD会导致收敛对初始化敏感，以及这如何影响泛化性能？
• RQ5 优化动力学的临界点对权重矩阵结构施加了何种约束？

主要发现

• 在BN与WD存在的情况下，梯度流收敛至全局最小范数解，该解具有最大间隔，并能获得预期分类误差的最佳界。
• 未归一化权重矩阵的Frobenius范数ρ与间隔成反比：ρ越小，间隔越大，泛化性能越好。
• 当缺乏BN与WD时，小初始化仍会诱导隐式偏差，使优化倾向于高间隔解，但收敛高度依赖于初始条件。
• 临界点处满足条件∂f(x_j)/∂V_k = V_k f(x_j)，该条件可解释神经网络坍塌的关键特征，包括类别均值与特征的坍塌。
• 约束损失中的拉格朗日乘子ν充当动态正则化项，将每个V_k约束在单位球面上，从而稳定训练过程。
• BN不仅对权重矩阵进行归一化，还对每一行独立进行归一化，其施加的约束强于标准权重归一化。