[论文解读] Data-dependent Sample Complexity of Deep Neural Networks via Lipschitz Augmentation

Colin Wei, Tengyu Ma|arXiv (Cornell University)|May 9, 2019

Sparse and Compressive Sensing Techniques参考文献 53被引用 45

一句话总结

本文通过在网络中加入 Lipschitz 正则化属性（层范数和 Jacobian 范数）来发展数据相关的 Rademacher 复杂度界并对深层网络给出随深度多项式增长的泛化界；并提出在训练中基于 Jacobian 的正则化方法。

ABSTRACT

Existing Rademacher complexity bounds for neural networks rely only on norm control of the weight matrices and depend exponentially on depth via a product of the matrix norms. Lower bounds show that this exponential dependence on depth is unavoidable when no additional properties of the training data are considered. We suspect that this conundrum comes from the fact that these bounds depend on the training data only through the margin. In practice, many data-dependent techniques such as Batchnorm improve the generalization performance. For feedforward neural nets as well as RNNs, we obtain tighter Rademacher complexity bounds by considering additional data-dependent properties of the network: the norms of the hidden layers of the network, and the norms of the Jacobians of each layer with respect to all previous layers. Our bounds scale polynomially in depth when these empirical quantities are small, as is usually the case in practice. To obtain these bounds, we develop general tools for augmenting a sequence of functions to make their composition Lipschitz and then covering the augmented functions. Inspired by our theory, we directly regularize the network's Jacobians during training and empirically demonstrate that this improves test performance.

研究动机与目标

• 阐明为何除了 margin 之外的数据相关性质也能收紧深度网络的泛化界。
• 构建一个通过将网络扩展为具备数据相关的 Lipschitz 属性来界定 Rademacher 复杂度的框架。
• 推导一个随深度多项式增长的泛化界，依赖于训练数据上的隐藏层范数和层间 Jacobian 范数。
• 提出一种在训练中控制 Jacobians 的实用正则化策略，并评估其对测试性能的影响。

提出的方法

• 将神经网络表示为层算子和激活的复合。
• 通过对层范数和 Jacobian 的软指示实现损失的 Lipschitz 增强，以界定最坏情况的 Lipschitz 常数。
• 将 covering-number 技术扩展到计算图表示以处理增强后的损失。
• 推导一个界（简化形式）显示 L-test <= tilde-O 由涉及层范数、Jacobian 范数、与宽度无关的项以及深度 r 在训练数据上的量所组成。
• 提供一个正式框架（Theorem 4.3, 5.3, 6.x）用于覆盖增强的计算图并获得数据相关的泛化界。

实验结果

研究问题

• RQ1 什么样的数据相关的网络属性（超越 margin）可以收紧深度网络的泛化界？
• RQ2 Lipschitz 增强和 Jacobian 范数是否能给出随深度呈多项式增长而非指数增长的界？
• RQ3 如何将 covering-number 的论证扩展到增强的计算图以界定数据相关的损失？
• RQ4 正则化网络的 Jacobians 是否会改善经验泛化性能？

主要发现

• 当训练数据的 Lipschitz 常数和 Jacobian 范数很小时，得到一个随深度多项式增长的数据相关泛化界。
• 该界取决于在训练数据上测得的最大隐藏层范数 t 和最大层间 Jacobian 运算符范数 sigma。
• 通过对层范数和 Jacobian 的软指示增强损失，得到一个可处理的 Lipschitz 界框架用于 covering numbers。
• 作者给出一个实践性解释：在训练中正则化 Jacobians 可以提升测试性能。
• 该框架扩展到循环网络，具有类似的随深度多项式界。