[论文解读] Explicit Regularization in Overparametrized Models via Noise Injection
本文提出在过参数化神经网络中进行逐层噪声注入，以实现显式正则化且避免方差爆炸，证明了微小扰动可通过偏好平坦极小值来提升泛化性能。该方法通过在每层独立注入噪声，实现基于 ℓ₁、组 ℓ₁ 或核范数的可证明正则化，并在 Fashion MNIST 和 CIFAR-10 上的宽网络与深网络中得到实证验证。
Injecting noise within gradient descent has several desirable features, such as smoothing and regularizing properties. In this paper, we investigate the effects of injecting noise before computing a gradient step. We demonstrate that small perturbations can induce explicit regularization for simple models based on the L1-norm, group L1-norms, or nuclear norms. However, when applied to overparametrized neural networks with large widths, we show that the same perturbations can cause variance explosion. To overcome this, we propose using independent layer-wise perturbations, which provably allow for explicit regularization without variance explosion. Our empirical results show that these small perturbations lead to improved generalization performance compared to vanilla gradient descent.
研究动机与目标
- 探究训练过程中微小扰动是否在简单模型中诱导显式正则化。
- 检查相同扰动在具有大宽度的过参数化神经网络中是否依然有效。
- 确定所诱导的正则化是否在实践中带来更好的泛化性能。
- 开发一种噪声注入策略，避免在宽网络中出现方差爆炸，同时保持正则化优势。
提出的方法
- 在梯度计算前逐层注入小而独立的噪声扰动，以避免宽网络中的方差爆炸。
- 推导与逐层噪声注入相对应的有效正则化损失函数，表明可通过 ℓ₁、组 ℓ₁ 或核范数实现显式正则化。
- 证明逐层扰动可防止在无限宽网络中标准噪声注入所导致的方差爆炸。
- 将理论分析扩展至具有多个隐藏层的深层 ReLU 网络。
- 通过全连接网络和卷积网络的实证评估，比较不同噪声注入方案下的泛化性能。
- 在逐层注入中对噪声强度应用缩放因子（如 √M），以保持各层间一致的信噪比。
实验结果
研究问题
- RQ1在如 ℓ₁、组 ℓ₁ 或核范数等简单模型中，梯度计算前的噪声注入是否诱导显式正则化？
- RQ2为何标准噪声注入在具有大宽度的过参数化神经网络中失效，其方差爆炸的根源是什么？
- RQ3能否通过逐层噪声注入克服方差爆炸问题，同时保持显式正则化？
- RQ4与原始随机梯度下降相比，所提出方法是否带来更好的泛化性能？
主要发现
- 标准噪声注入由于存在无限多被扰动的神经元，在过参数化模型中导致方差爆炸，因而无法有效实现正则化。
- 逐层噪声注入成功避免了方差爆炸，并在全连接网络和深层 ReLU 网络中可证明地通过 ℓ₁、组 ℓ₁ 或核范数实现显式正则化。
- 实证结果表明，与标准噪声注入和原始 SGD 相比，逐层噪声注入在 Fashion MNIST 和 CIFAR-10 上的浅层、深层、宽网络和窄网络中均提升了测试准确率。
- 该改进在各类架构中保持一致，包括全连接网络和卷积网络，即使在极高宽度下也表现出稳定性能。
- 在逐层注入下，正则化 Hessian 迹动态被抑制，表明优化过程更平滑，且偏好更平坦的极小值。
- 在逐层注入中通过 √M 对噪声进行缩放，可保持各层间一致的正则化强度，即使各层参数数量不同。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。