[论文解读] A PAC-Bayesian Tutorial with A Dropout Bound

David McAllester|arXiv (Cornell University)|Jul 8, 2013

Machine Learning and Algorithms参考文献 9被引用 70

一句话总结

本文全面介绍了PAC-Bayesian泛化界，提出了三个关键界：针对有限精度规则的Occam界，适用于带$L_2$正则化和dropout的随机规则选择的PAC-Bayesian界，以及一个更紧致的训练方差界，该界建议使用方差减少技术（如bagging）。训练方差界优于其他两个界，但更难解释，为dropout提供了比传统界更有意义的分析。

ABSTRACT

This tutorial gives a concise overview of existing PAC-Bayesian theory focusing on three generalization bounds. The first is an Occam bound which handles rules with finite precision parameters and which states that generalization loss is near training loss when the number of bits needed to write the rule is small compared to the sample size. The second is a PAC-Bayesian bound providing a generalization guarantee for posterior distributions rather than for individual rules. The PAC-Bayesian bound naturally handles infinite precision rule parameters, $L_2$ regularization, {\em provides a bound for dropout training}, and defines a natural notion of a single distinguished PAC-Bayesian posterior distribution. The third bound is a training-variance bound --- a kind of bias-variance analysis but with bias replaced by expected training loss. The training-variance bound dominates the other bounds but is more difficult to interpret. It seems to suggest variance reduction methods such as bagging and may ultimately provide a more meaningful analysis of dropouts.

研究动机与目标

• 为机器学习研究人员提供PAC-Bayesian理论的简洁、易懂的概述。
• 为监督学习中泛化界的理论基础建立基础，特别是针对具有无限精度参数的模型。
• 通过PAC-Bayesian视角分析dropout训练的性能。
• 探究训练方差界作为现有界更紧致、更具可解释性的替代方案的潜力。
• 阐明将经验损失方差纳入泛化界时的局限性。

提出的方法

• 使用并集界和Chernoff不等式推导Occam界，将泛化误差与先验概率的对数及样本大小联系起来。
• 引入一个PAC-Bayesian界，控制从后验分布中抽取的随机规则的期望损失，结合后验与先验之间的KL散度。
• 将PAC-Bayesian框架应用于$L_2$正则化和dropout训练，表明dropout可被解释为一种贝叶斯平均形式。
• 提出一个训练方差界，用期望训练损失替代偏差，为泛化误差提供更紧的上界。
• 将训练方差界与PAC-Bayesian后验结合，推导出一个新界，但分析仍较松散且难以解释。
• 通过引入经验损失方差来紧致Occam界，但表明这种改进在根本上受限于未见异常值的风险。

实验结果

研究问题

• RQ1 PAC-Bayesian理论能否为具有无限精度参数的模型（如$L_2$正则化学习中的模型）提供泛化保证？
• RQ2 PAC-Bayesian框架如何自然地将dropout训练解释为贝叶斯模型平均的一种形式？
• RQ3 训练方差界（其优于其他界）在在多大程度上能指导鲁棒学习算法的设计？
• RQ4 经验损失方差能否显著改善泛化界，还是此类改进在根本上受到限制？
• RQ5 为何即使方差为零，将损失方差纳入界也未能带来显著改进？

主要发现

• 训练方差界比Occam界和PAC-Bayesian界都更紧，表明其可能更准确地刻画泛化误差。
• 训练方差界暗示，如bagging或boosting等方差减少技术可改善泛化，为这些方法提供了新的理论依据。
• 即使经验损失方差为零，最佳的Occam型界也仅比原始Occam界好两倍以内，表明引入方差的增益有限。
• PAC-Bayesian后验为泛化提供了一种有原则的单一最优后验分布定义方式，但目前尚无类似最优算法适用于训练方差界。
• 在PAC-Bayesian界中用数据依赖分布替代先验会导致平凡界，凸显了在不引入松散性的情况下紧致化此类界所面临的挑战。
• 通过PAC-Bayesian框架推导出dropout训练的界，表明dropout可被解释为具有特定后验分布的贝叶斯平均形式。