[论文解读] Identifying Generalization Properties in Neural Networks

Huan Wang, Nitish Shirish Keskar+2 more|arXiv (Cornell University)|Sep 19, 2018

Neural Networks and Applications参考文献 18被引用 39

一句话总结

该论文在 PAC-Bayes 框架下，建立了神经网络泛化能力与局部解性质之间的理论联系——具体而言，涉及损失函数的 Hessian 矩阵、其利普希茨常数以及参数尺度。论文提出了一种 Hessian 敏感的扰动算法，通过自适应调整噪声水平来改善泛化性能，在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 基准测试中均表现出更高的测试准确率。

ABSTRACT

While it has not yet been proven, empirical evidence suggests that model generalization is related to local properties of the optima which can be described via the Hessian. We connect model generalization with the local property of a solution under the PAC-Bayes paradigm. In particular, we prove that model generalization ability is related to the Hessian, the higher-order "smoothness" terms characterized by the Lipschitz constant of the Hessian, and the scales of the parameters. Guided by the proof, we propose a metric to score the generalization capability of the model, as well as an algorithm that optimizes the perturbed model accordingly.

研究动机与目标

• 通过分析局部解性质，解决过参数化深度网络尽管容量高却仍能良好泛化的悖论。
• 形式化模型泛化能力与局部平滑性之间的关系，以 Hessian 矩阵及其高阶性质进行量化。
• 开发一种理论基础坚实的、Hessian 敏感的扰动算法，通过自适应噪声注入改善泛化性能。
• 提出一种新的泛化度量（pacGen），其与测试性能相关，并可指导扰动水平的选择。

提出的方法

• 推导出一个 PAC-Bayes 边界，其显式依赖于损失函数的 Hessian 矩阵、Hessian 的利普希茨常数、参数尺度以及训练样本数量。
• 基于推导出的边界，引入一种泛化度量 pacGen，用于评估模型的泛化能力。
• 提出一种基于扰动的优化算法（Perturbed OPT），利用估计的 Hessian 对角元素和梯度幅值，自适应地设定噪声水平。
• 采用指数平滑（类似于 Adam）方法，以高效、在线方式估计 Hessian，而无需计算完整的 Hessian 矩阵。
• 仅对梯度较小的参数（|g_i| < β₂）施加扰动，以减少对优化稳定性的噪声影响。
• 采用对数衰减调度策略控制扰动幅度，以平衡早期探索与后期精细化调整。

实验结果

研究问题

• RQ1 模型泛化能力如何与损失曲面的 Hessian 矩阵及其高阶平滑性（Hessian 的利普希茨常数）相关？
• RQ2 是否可以通过利用局部解几何结构，设计一种理论基础坚实的扰动策略来改善泛化性能？
• RQ3 最优扰动水平是否以某种方式与 Hessian 成比例，从而抵消重参数化引起的尺度效应？
• RQ4 所提出的泛化度量（pacGen）是否能可靠预测模型在未见数据上的性能？
• RQ5 该扰动算法是否能实现类似正则化的效应，在不损害训练损失的前提下提升测试准确率？

主要发现

• 泛化误差在理论上受 Hessian 矩阵、其利普希茨常数、参数尺度以及训练样本数量的约束。
• 最优扰动水平近似与 1 / sqrt(Hessian + ρ√m κ) 成比例，该结果可缓解由 Dinh 等人（2017）揭示的重参数化敏感性问题。
• 所提出的 pacGen 度量与泛化性能具有相关性，分数越低表示测试泛化能力越强。
• 在 CIFAR-10 和 CIFAR-100 上，结合 Adam 优化器的扰动算法在略微降低训练准确率的同时，显著提升了测试准确率。
• 在 Tiny ImageNet 上，采用扰动的 SGD 变体实现了高于基线的验证准确率，表明其具有持续的类似正则化的行为。
• 该算法在不同数据集和优化器上均表现稳健，表明基于 Hessian 的扰动原则具有广泛适用性。