[论文解读] Generalization bounds via distillation

Daniel Hsu, Ziwei Ji+2 more|arXiv (Cornell University)|Apr 12, 2021

Sparse and Compressive Sensing Techniques参考文献 22被引用 14

一句话总结

本文通过证明在使用表现良好的数据增强时，高复杂度神经网络能从其蒸馏后的简化版本继承改进的泛化界，建立了蒸馏与泛化之间的理论联系。关键贡献在于为原始网络提出一个与蒸馏复杂度相关的泛化界，该界通过ResNet架构的具体边界和在CIFAR-10与MNIST上的实验得到验证。

ABSTRACT

This paper theoretically investigates the following empirical phenomenon: given a high-complexity network with poor generalization bounds, one can distill it into a network with nearly identical predictions but low complexity and vastly smaller generalization bounds. The main contribution is an analysis showing that the original network inherits this good generalization bound from its distillation, assuming the use of well-behaved data augmentation. This bound is presented both in an abstract and in a concrete form, the latter complemented by a reduction technique to handle modern computation graphs featuring convolutional layers, fully-connected layers, and skip connections, to name a few. To round out the story, a (looser) classical uniform convergence analysis of compression is also presented, as well as a variety of experiments on cifar and mnist demonstrating similar generalization performance between the original network and its distillation.

研究动机与目标

• 为解决深度学习中理论泛化界与实际性能之间的脱节问题，即标准泛化界过于松散。
• 解释蒸馏网络虽更简单，却能保持与原始复杂模型相近的测试准确率这一经验现象。
• 理论上证明，在表现良好的数据增强条件下，原始网络能继承其蒸馏版本改进的泛化界。
• 通过一种处理卷积层、全连接层和跳跃连接的约化技术，为ResNet风格架构提供具体的泛化界。
• 提供一种补充性的经典一致收敛分析作为警示性基准，尽管其界远比主方法松散。

提出的方法

• 提出一个基于蒸馏距离的抽象泛化界（引理1.1），该距离通过温度为γ的softmax输出进行度量，并利用数据增强确保稳定性。
• 引入一种表现良好的数据增强技术（引理1.2），以确保蒸馏距离具有鲁棒性并适用于理论分析。
• 通过将问题约化为权矩阵的逐层覆盖，并应用基于Frobenius范数的误差界，为ResNet架构推导出具体的泛化界（定理1.3）。
• 采用拉格朗日优化方法平衡各层宽度（k_j）与近似误差（ε_j），在满足总误差约束的前提下最小化覆盖集合的基数。
• 应用Dudley的熵积分来界定原始网络的Rademacher复杂度，最终得到依赖于网络宽度、谱范数和结构稀疏性的泛化界。
• 提供一种经典的一致收敛分析（定理1.4）作为备选方案，尽管其界显著松于主方法。

实验结果

研究问题

• RQ1 复杂神经网络的泛化性能能否通过其生成的简化蒸馏版本在理论上得到解释？
• RQ2 表现良好的数据增强如何影响蒸馏界在稳定性和泛化性方面的影响？
• RQ3 蒸馏网络的泛化界在多大程度上可以反向传递到原始的高复杂度模型？
• RQ4 跳跃连接和卷积层等架构组件对泛化界推导有何影响？
• RQ5 与经典一致收敛界相比，所提出的界在紧致性和实际相关性方面表现如何？

主要发现

• 原始ResNet在MNIST上的测试误差为0.008，在CIFAR-10上为0.067，而标准泛化界松散至10^15，凸显了经典界普遍存在的松散性。
• 经过蒸馏后，同一模型的泛化界降低了约10^10倍，表明理论紧致性得到显著提升。
• 蒸馏网络与原始网络的预测结果几乎完全一致，测试误差也相近，证实蒸馏在降低复杂度的同时保持了预测性能。
• 所提出的界（定理1.3）与蒸馏网络的Rademacher复杂度成比例，且依赖于权矩阵的Frobenius范数、谱范数和层宽。
• 基于拉格朗日的层宽选择策略使总近似误差被控制在ε以内，覆盖集合基数的对数被限制在O(β/ε^4)，其中β包含网络深度、宽度和范数项。
• 最终的Rademacher复杂度界呈O(n^{1/4} β^{1/4})形式，其中β是输入范数、权矩阵范数和结构稀疏性的函数，表明其对宽度的依赖性相比经典界有所改善。