[论文解读] De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and Non-smooth Predictors

Arindam Banerjee, Tiancong Chen+1 more|arXiv (Cornell University)|Feb 23, 2020

Machine Learning and Algorithms参考文献 88被引用 5

一句话总结

本文为确定性、非凸且非光滑的预测器（如ReLU网络）提出了去随机化的PAC-Bayes边界，适用于MNIST和CIFAR-10数据集，通过利用输入相关的平滑性（基于线性深度网络LDN）避免对大Lipschitz常数的依赖。关键贡献在于提出了一种非均匀泛化边界，权衡了权重与初始化的距离和有效曲率，实验验证了在不同深度、宽度和批量大小下的有效性。

ABSTRACT

In spite of several notable efforts, explaining the generalization of deterministic non-smooth deep nets, e.g., ReLU-nets, has remained challenging. Existing approaches for deterministic non-smooth deep nets typically need to bound the Lipschitz constant of such deep nets but such bounds are quite large, may even increase with the training set size yielding vacuous generalization bounds. In this paper, we present a new family of de-randomized PAC-Bayes margin bounds for deterministic non-convex and non-smooth predictors, e.g., ReLU-nets. Unlike PAC-Bayes, which applies to Bayesian predictors, the de-randomized bounds apply to deterministic predictors like ReLU-nets. A specific instantiation of the bound depends on a trade-off between the (weighted) distance of the trained weights from the initialization and the effective curvature (`flatness') of the trained predictor. To get to these bounds, we first develop a de-randomization argument for non-convex but smooth predictors, e.g., linear deep networks (LDNs), which connects the performance of the deterministic predictor with a Bayesian predictor. We then consider non-smooth predictors which for any given input realized as a smooth predictor, e.g., ReLU-nets become some LDNs for any given input, but the realized smooth predictors can be different for different inputs. For such non-smooth predictors, we introduce a new PAC-Bayes analysis which takes advantage of the smoothness of the realized predictors, e.g., LDN, for a given input, and avoids dependency on the Lipschitz constant of the non-smooth predictor. After careful de-randomization, we get a bound for the deterministic non-smooth predictor. We also establish non-uniform sample complexity results based on such bounds. Finally, we present extensive empirical results of our bounds over changing training set size and randomness in labels.

研究动机与目标

• 解决在确定性非光滑深度网络（如ReLU网络）中解释泛化能力的挑战，其中经典边界常因平凡的Lipschitz相关复杂度项而失效。
• 克服现有PAC-Bayes边界仅适用于贝叶斯预测器的局限，通过为确定性模型开发去随机化框架。
• 提出一种非均匀泛化边界，其依赖于训练权重与初始化距离和预测器有效曲率（平坦度）之间的权衡。
• 在不同网络深度、宽度和训练批量大小（包括微批量训练）下，建立理论和实证上的边界有效性。
• 提供一种PAC-Bay斯分析，利用输入特定的平滑性（通过LDN实现）避免对非光滑网络全局Lipschitz常数的依赖。

提出的方法

• 通过随机扰动框架将确定性预测器与贝叶斯对应物联系起来，提出一种针对平滑预测器的去随机化论证。
• 对于非光滑预测器（如ReLU网络），将每个输入建模为诱导出一个不同的平滑线性深度网络（LDN），以支持局部平滑性分析。
• 推导出一种依赖于从初始化的加权距离和每个输入处预测器有效曲率（基于Hessian的平坦度）的PAC-Bayes边界。
• 引入一种尺度不变的泛化边界，结合边缘损失、曲率与权重范数项，并通过训练样本数量进行归一化。
• 使用Hessian对角线元素估计有效曲率，避免完整Hessian计算，从而实现高效的实证评估。
• 通过推导对每个特定预测器以高概率成立的边界，建立非均匀样本复杂度结果，而非对所有预测器统一成立。

实验结果

研究问题

• RQ1 能否将PAC-Bayes边界去随机化，以适用于不依赖全局Lipschitz常数的确定性非光滑深度网络（如ReLU网络）？
• RQ2 如何通过权重与初始化距离和局部曲率之间的权衡，来约束确定性ReLU网络的泛化误差？
• RQ3 在标签随机化和不同训练集大小下，所提出的去随机化边界是否仍保持紧致且具有信息量？
• RQ4 该边界是否能在MNIST和CIFAR-10数据集上，针对不同网络架构（深度、宽度）和训练范式（批量大小、微批量）有效计算并实证验证？
• RQ5 边界各组成部分（曲率、边缘损失、权重范数）与训练过程中实际测试误差之间存在何种关系？

主要发现

• 在MNIST和CIFAR-10数据集上，随着训练集大小从100增至10,000样本，所提出的去随机化PAC-Bayes边界持续减小，表明数据量增加时泛化能力提升。
• 该边界在不同网络深度（如2、4、8、128、256、512）和宽度（如128、256、384、512）下均保持有效，证明其在广泛架构上的适用性。
• 在微批量训练（批量大小=16）下，边界依然有效，表明其对训练范式变化具有鲁棒性，且未损失紧致性。
• 基于Hessian对角线元素推导出的有效曲率项与泛化性能显著相关，并对边界的紧致性有重要贡献。
• 尺度不变的泛化边界（结合边缘损失、曲率与归一化权重范数）在训练过程中和数据量增加时均表现出一致的减小趋势。
• 实证结果表明，边界及其各组成部分能有效追踪测试误差的变化趋势：随着训练进展，边界及其各成分均减小，验证了其理论合理性。