[论文解读] Improved Sample Complexities for Deep Neural Networks and Robust Classification via an All-Layer Margin

Colin Wei, Tengyu Ma|arXiv (Cornell University)|Apr 30, 2020

Adversarial Robustness in Machine Learning参考文献 54被引用 11

一句话总结

本文提出了“全层边缘”（all-layer margin）——一种用于深度神经网络的新边缘概念，其与泛化能力之间建立了清晰且与深度无关的关系。通过分析该边缘，作者推导出更紧致的泛化边界，实现了对对抗鲁棒测试误差的首次直接分析，并提出了一种训练算法，通过增大全层边缘来提升测试性能。

ABSTRACT

For linear classifiers, the relationship between (normalized) output margin and generalization is captured in a clear and simple bound – a large output margin implies good generalization. Unfortunately, for deep models, this relationship is less clear: existing analyses of the output margin give complicated bounds which sometimes depend exponentially on depth. In this work, we propose to instead analyze a new notion of margin, which we call the “all-layer margin.” Our analysis reveals that the all-layer margin has a clear and direct relationship with generalization for deep models. We present three concrete applications of the all-layer margin: 1) by analyzing the all-layer margin, we obtain tighter generalization bounds for neural nets which depend on Jacobian and hidden layer norms and remove the exponential dependency on depth 2) our neural net results easily translate to the adversarially robust setting, giving the first direct analysis of robust test error for deep networks, and 3) we present a theoretically inspired training algorithm for increasing the all-layer margin and demonstrate that our algorithm improves test performance over strong baselines in practice.

研究动机与目标

• 解决深度神经网络缺乏清晰、与深度无关的泛化理论的问题。
• 克服现有输出边缘分析的局限性，后者导致具有指数深度依赖性的复杂边界。
• 构建一种基于边缘的框架，实现对对抗鲁棒泛化的直接分析。
• 设计一种理论基础坚实的训练算法，通过最大化全层边缘来提升测试性能。

提出的方法

• 提出全层边缘作为衡量边缘的新指标，考虑网络中所有层的贡献，而不仅限于最终输出层。
• 推导出依赖于隐藏层激活范数和网络雅可比矩阵范数的泛化边界，避免了对网络深度的指数依赖。
• 将全层边缘分析拓展至对抗鲁棒性设置，实现对鲁棒测试误差的直接边界估计。
• 开发一种训练算法，在优化过程中显式增大全层边缘，利用参数的梯度更新实现。
• 采用正则化训练目标，鼓励获得较大的全层边缘，同时保持标准训练动态。

实验结果

研究问题

• RQ1 能否定义一种边缘概念，使其比标准输出边缘更清晰地捕捉深度网络中的泛化特性？
• RQ2 与现有方法相比，全层边缘是否能带来更紧致且与深度无关的泛化边界？
• RQ3 全层边缘能否用于推导出深度网络中对抗鲁棒性的首次直接理论分析？
• RQ4 在实践中，优化全层边缘是否能提升泛化性能？

主要发现

• 全层边缘与泛化之间建立了直接且与深度无关的关系，解决了标准输出边缘分析中存在的模糊性。
• 通过全层边缘推导出的泛化边界依赖于隐藏层激活范数和雅可比矩阵范数，避免了对网络深度的指数依赖。
• 该框架实现了对深度网络中鲁棒测试误差的首次直接理论分析，为对抗鲁棒性提供了原则性方法。
• 所提出的训练算法通过最大化全层边缘，在基准数据集上相比强基线模型实现了更优的测试性能。