[论文解读] A Primer on PAC-Bayesian Learning

Benjamin Guedj|arXiv (Cornell University)|Jan 16, 2019

Machine Learning and Algorithms参考文献 75被引用 53

一句话总结

这篇论文提供了一个关于 PAC-Bayes 框架的自包含综述，概述了其推广性质并对 PAC-Bayesian 学习中的关键理论与算法发展进行了综述。

ABSTRACT

Generalised Bayesian learning algorithms are increasingly popular in machine learning, due to their PAC generalisation properties and flexibility. The present paper aims at providing a self-contained survey on the resulting PAC-Bayes framework and some of its main theoretical and algorithmic developments.

研究动机与目标

• 由于 PAC 泛化属性和灵活性，推动使用广义贝叶斯学习。
• 总结 PAC-Bayes 框架及其核心理论结果。
• 回顾 PAC-Bayesian 方法的重大算法发展及实际意义。

提出的方法

• 解释 PAC-Bayesian 框架及其与贝叶斯学习和 PAC 保证的关系。
• 调查主要理论结果及其对泛化界限的含义。
• 讨论在 PAC-Bayesian 学习中的显著算法方法及实际考虑。

实验结果

研究问题

• RQ1 哪些核心的 PAC-Bayes 原则能够实现泛化保证？
• RQ2 关键理论结果及其如何转化为算法？
• RQ3 在 PAC-Bayesian 学习中突出的算法发展及其实际影响。

主要发现

• 提供了关于 PAC-Bayes 框架的自包含综述。
• 回顾基本理论结果及其对泛化的影响。
• 总结了 PAC-Bayesian 学习中的重要算法发展。