[论文解读] Explicit Regularisation in Gaussian Noise Injections

Alexander Camuto, Matthew Willetts+3 more|arXiv (Cornell University)|Jul 14, 2020

Sparse and Compressive Sensing Techniques参考文献 48被引用 36

一句话总结

论文从神经网络中的高斯噪声注入中推导出一个显式正则化项，显示它惩罚高频成分（尤其在输出附近），并使分类器校准性更好、边际更大。

ABSTRACT

We study the regularisation induced in neural networks by Gaussian noise injections (GNIs). Though such injections have been extensively studied when applied to data, there have been few studies on understanding the regularising effect they induce when applied to network activations. Here we derive the explicit regulariser of GNIs, obtained by marginalising out the injected noise, and show that it penalises functions with high-frequency components in the Fourier domain; particularly in layers closer to a neural network's output. We show analytically and empirically that such regularisation produces calibrated classifiers with large classification margins.

研究动机与目标

• 激发动机并理解应用于网络激活的高斯噪声注入（GNI）所产生的正则化效果。
• 通过对注入的噪声边际化，推导出一个解析的显式正则化项。
• 将正则化项与 Sobolev 空间和傅里叶域联系起来。
• 证明 GNI 能带来更大的分类边际与改进的校准。
• 提供在回归和分类设置中的解析与实证证据。

提出的方法

• 通过对每个隐藏层注入各向同性高斯噪声对损失的影响进行层激活的泰勒展开来建模。
• 边际化注入的噪声以获得一个显式正则化项 R，它在高阶余项中占主导（定理 1）。
• 在回归和分类情形下表达 R，使其与网络的雅可比矩阵和 Hessian 有关（方程 (11)–(14)）。
• 将 R 与 Sobolev 空间和傅里叶变换联系起来，显示对低频（平滑）函数的偏好（定理 2 及相关讨论）。
• 展示一种递归的逐层正则化，其中前几层对高频惩罚贡献更大，导致更深层逐步获得更平滑的表示（逐层讨论）。
• 提供实证证据表明 GNI 与 R 产生的训练动力学相似且学习趋势偏向低频（图 3 与图 4）。

实验结果

研究问题

• RQ1 高斯噪声注入在应用于神经网络激活时，会诱导出怎样的显式正则化？
• RQ2 这个正则化项如何与 Sobolev 空间以及学习函数的傅里叶光谱相关联？
• RQ3 该正则化是否促进更平滑（低频）函数以及更大的分类边际？
• RQ4 在回归和分类设置中，GNI 是否改善模型的校准性和鲁棒性？

主要发现

• 来自 GNI 的附加正则化项 R 在实践中为正且主导高阶余项。
• R 与 Sobolev 范数及傅里叶域惩罚相关，抑制高频成分。
• 正则化来自 GNI 对接近输出的层更强，促进表示逐步转向低频。
• 实证表明使用 GNI 与 R 训练的模型具有相似的训练轨迹，并表现出更低的敏感性和更好的校准性。
• 在回归中，显式正则化简化为对各层雅可比矩阵的 Frobenius 范数之和，权重为噪声方差（式 (11)）。
• 在分类中，R 涉及损失的 Hessian，且仍然是一个正的、对频率有惩罚作用的项（式 (13)-(14)）。