[论文解读] A PAC-Bayesian Analysis of Randomized Learning with Application to Stochastic Gradient Descent

Ben London|arXiv (Cornell University)|Sep 19, 2017

Stochastic Gradient Optimization Techniques参考文献 29被引用 17

一句话总结

本文通过结合PAC-Bayes与算法稳定性，为随机学习算法（特别是随机梯度下降SGD）提出了一种新颖的PAC-Bayesian泛化界。该方法允许基于数据的后验分布对SGD的采样策略进行建模，从而实现一种自适应采样算法，相较于均匀采样，该算法在收敛速度和测试准确率方面均有提升。

ABSTRACT

We study the generalization error of randomized learning algorithms -- focusing on stochastic gradient descent (SGD) -- using a novel combination of PAC-Bayes and algorithmic stability. Importantly, our generalization bounds hold for all posterior distributions on an algorithm's random hyperparameters, including distributions that depend on the training data. This inspires an adaptive sampling algorithm for SGD that optimizes the posterior at runtime. We analyze this algorithm in the context of our generalization bounds and evaluate it on a benchmark dataset. Our experiments demonstrate that adaptive sampling can reduce empirical risk faster than uniform sampling while also improving out-of-sample accuracy.

研究动机与目标

• 为以高概率成立的随机学习算法开发泛化界，与以往仅提供期望值上界的工作形成对比。
• 将PAC-Bayesian界扩展至允许数据依赖的后验分布，以捕捉对训练数据采样分布过拟合的风险。
• 设计一种针对SGD的自适应采样算法，根据训练进展和模型性能动态调整采样权重。
• 对自适应后验分布与先验分布之间的散度进行理论分析，确保泛化保证得以维持。
• 通过实证验证，自适应采样在减少经验风险和提升泛化准确率方面优于均匀采样。

提出的方法

• 结合PAC-Bayesian理论与算法稳定性，推导出随机学习算法的高概率泛化界。
• 引入对SGD采样索引的后验分布，该分布可依赖于训练数据，通过与固定先验的散度惩罚来防止过拟合。
• 提出一种基于乘法权重更新的自适应采样算法，根据梯度效用和模型更新动态调整采样概率。
• 采用基于树的数据结构，高效维护并更新迭代过程中的采样权重。
• 基于梯度幅值与衰减设计效用函数，优先选择SGD更新中更具信息量的样本。
• 推导出自适应后验与先验之间KL散度的理论界，确保泛化性能。

实验结果

研究问题

• RQ1 能否将PAC-Bayesian泛化界扩展至适用于具有数据依赖后验的随机学习算法，并以高概率成立？
• RQ2 如何将算法稳定性与PAC-Bayes结合，以获得针对SGD的更紧致、更实用的泛化界？
• RQ3 能否通过从训练数据中学习的自适应采样策略，提升SGD的收敛性与泛化性能？
• RQ4 自适应后验与先验之间散度与SGD泛化误差之间的理论关系是什么？
• RQ5 在经验风险减少与测试准确率方面，自适应采样是否优于均匀采样？

主要发现

• 所提出的泛化界以高概率成立，优于以往仅提供期望值上界的成果。
• 该界适用于所有后验分布，包括数据依赖型，从而支持自适应采样策略。
• 自适应采样算法在训练过程中比均匀采样更快地减少经验风险。
• 该算法提升了泛化性能，即在分布外样本上的准确率更高。
• 理论分析表明，自适应后验与先验之间的KL散度有界，从而确保了泛化能力。
• 在基准数据集上的实证结果证实，该自适应采样策略在不同更新规则与效用函数下均表现有效。