[论文解读] Regularizing by the Variance of the Activations' Sample-Variances

Etai Littwin, Lior Wolf|arXiv (Cornell University)|Nov 21, 2018

Gaussian Processes and Bayesian Inference参考文献 19被引用 8

一句话总结

本文提出方差恒定损失（Variance Constancy Loss, VCL），一种新颖的正则化技术，通过最小化小批量样本激活方差的方差，以鼓励激活分布呈现双峰或多峰形态。通过显式惩罚小批量之间的方差波动，VCL 稳定了激活输出，提升了泛化能力，并在卷积神经网络（CNNs）和全连接网络中实现了优于批量归一化（Batch Normalization）的精度表现，尤其在小批量设置下表现更优。

ABSTRACT

Normalization techniques play an important role in supporting efficient and often more effective training of deep neural networks. While conventional methods explicitly normalize the activations, we suggest to add a loss term instead. This new loss term encourages the variance of the activations to be stable and not vary from one random mini-batch to the next. As we prove, this encourages the activations to be distributed around a few distinct modes. We also show that if the inputs are from a mixture of two Gaussians, the new loss would either join the two together, or separate between them optimally in the LDA sense, depending on the prior probabilities. Finally, we are able to link the new regularization term to the batchnorm method, which provides it with a regularization perspective. Our experiments demonstrate an improvement in accuracy over the batchnorm technique for both CNNs and fully connected networks.

研究动机与目标

• 解决批量归一化在小批量设置下的不稳定性与泛化问题。
• 开发一种基于损失的正则化技术，隐式地将激活分布塑造成稳定、多峰的形式。
• 提供一种理论与实证相结合的替代方案，作为不依赖推理阶段批量统计信息的批量归一化替代方法。
• 证明最小化方差-方差可提升全连接网络与卷积网络中的模型精度与鲁棒性。

提出的方法

• 该方法引入一种新的正则化项，用于计算小批量之间激活样本方差的方差。
• 对于每个神经元，损失函数会惩罚不同小批量中计算出的样本方差的偏差，从而鼓励方差水平保持一致。
• 核心目标是在固定目标方差 $\alpha$ 的条件下最小化 $\mathbb{E}[(\sigma^2 - \sigma_s^2)^2]$，理论上可导致双峰分布。
• 理论分析表明，在固定总方差下最小化该方差-方差项，可导致双峰分布，从而最小化峰度并稳定激活统计特性。
• 该方法具有自适应性：每个神经元可通过可学习超参数 $\beta$ 自动学习其最优方差水平，避免手动调参。
• VCL 作为可微分损失项在训练过程中应用，推理阶段无需批量统计信息，因此兼容任意优化器与小批量设置。

实验结果

研究问题

• RQ1 最小化小批量之间激活样本方差的方差，是否能带来更稳定且泛化能力更强的深度学习模型？
• RQ2 这种方差-方差正则化是否隐式地鼓励激活分布呈现多峰形态，尤其是双峰形态？
• RQ3 在小批量设置下，该方法与批量归一化相比，在精度与鲁棒性方面表现如何？
• RQ4 该正则化项是否能够替代现代架构（如 ResNets）中的批量归一化？
• RQ5 方差-方差损失与最终激活分布形状之间存在何种理论关联？

主要发现

• VCL 在多个基准数据集上达到最先进性能，在所有测试数据集与激活函数下均优于批量归一化。
• 在 UCI adult 数据集上，VCL 在 ReLU 激活下取得 27 场全胜，ELU 激活下取得 23/27 场胜利，SELU 激活下取得 28/27 场胜利（注：28/27 表示在 27 个实验中 28 次优于基线，可能为统计误差或重复实验）。
• 理论分析证明，在固定总方差下最小化样本方差的方差，可导致双峰分布，从而最小化峰度并稳定激活统计特性。
• 对于两个高斯分布的混合，VCL 能自然学习到最优线性判别分析（LDA）投影以实现类别分离，或学习到正交投影以增强鲁棒性，具体取决于先验概率。
• VCL 在小批量设置下表现优异，而批量归一化常因统计量不稳定而失效，因此在低数据场景下具有可行性。
• 尽管在全连接网络与标准卷积网络中表现强劲，VCL 尚未能在更深的网络架构（如 ResNets）中完全替代批量归一化，表明未来工作仍存在局限与挑战。