[论文解读] PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization

Sanae Lotfi, Marc Finzi+4 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出了一种新颖的PAC-Bayes压缩框架，通过在学习到的线性子空间中训练深度神经网络并应用自适应量化，实现了最先进的泛化界。该方法显著收紧了泛化界，通过可压缩性解释了泛化现象。该方法表明，数据无关先验比数据相关先验更具信息量，并表明模型可压缩性能够解释深度学习中的关键现象，如迁移学习、等变性以及双下降现象。

ABSTRACT

While there has been progress in developing non-vacuous generalization bounds for deep neural networks, these bounds tend to be uninformative about why deep learning works. In this paper, we develop a compression approach based on quantizing neural network parameters in a linear subspace, profoundly improving on previous results to provide state-of-the-art generalization bounds on a variety of tasks, including transfer learning. We use these tight bounds to better understand the role of model size, equivariance, and the implicit biases of optimization, for generalization in deep learning. Notably, we find large models can be compressed to a much greater extent than previously known, encapsulating Occam's razor. We also argue for data-independent bounds in explaining generalization.

研究动机与目标

• 开发针对深度神经网络的更紧致PAC-Bayes泛化界，以有意义地解释深度学习为何能泛化。
• 探究仅靠模型可压缩性是否足以解释泛化，而非依赖隐式偏差或优化动力学。
• 评估在通过PAC-Bayes界解释泛化时，数据相关先验与数据无关先验的相对信息量。
• 通过可压缩性的视角，理解模型规模、等变性以及优化诱导的归纳偏差的作用。
• 证明迁移学习和结构归纳偏差通过提升可压缩性，从而改善泛化界。

提出的方法

• 在参数空间的随机线性子空间中训练神经网络，以实现结构化、低维压缩。
• 应用学习到的量化方法对子空间内的模型参数进行压缩，最小化表示模型所需的比特数。
• 通过一个编码奥卡姆剃刀原则（偏好更简单模型）的先验构建PAC-Bayes界，该先验由以量化权重为中心的高斯混合组成。
• 使用可变长度编码（如霍夫曼编码或算术编码）减少表示压缩模型所需的有效比特数，从而提升界紧致性。
• 使用改进的Catoni风格PAC-Bayes界，该界考虑了后验与先验分布之间的KL散度。
• 评估数据相关和数据无关先验，后者用于将模型可压缩性的作用与数据特异性效应分离。

实验结果

研究问题

• RQ1 仅靠模型可压缩性是否足以独立于优化动力学或损失曲面特性解释深度神经网络的泛化？
• RQ2 为何数据相关PAC-Bayes界无法解释超出先验本身所能预测的泛化现象？
• RQ3 迁移学习如何改善泛化界，这种改善是否源于可压缩性的提升？
• RQ4 数据结构（如图像中的空间结构）在多大程度上影响模型可压缩性，进而影响泛化界？
• RQ5 SGD或权重衰减的隐式偏差是否贡献于泛化，还是可压缩性已足以解释它？

主要发现

• 所提出的压缩方法在CIFAR-10和MNIST上实现了最先进的PAC-Bayes泛化界，其界显著优于以往工作。
• 数据无关先验比数据相关先验更具信息量，因为仅靠先验本身的表现通常与或优于完整的数据相关界。
• 迁移学习提升了可压缩性，这直接转化为更紧致的泛化界，从而解释了其经验成功。
• 在CIFAR-10中打乱像素或标签会显著降低模型可压缩性，导致更差的界，表明数据结构通过可压缩性促进了泛化。
• 在旋转结构化任务中，等变模型（如CNN）比全连接网络更具可压缩性，解释了其更优的泛化性能。
• 泛化误差中的双下降现象在PAC-Bay斯界中也得到体现，界在更大宽度时再次改善，表明可压缩性捕捉到了宽度与架构的完整归纳偏差。