[论文解读] A Strongly Quasiconvex PAC-Bayesian Bound

Niklas Thiemann, Christian Igel+2 more|arXiv (Cornell University)|Aug 19, 2016

Machine Learning and Algorithms参考文献 21被引用 20

一句话总结

本文提出了一种新型的PAC-Bayesian界，该界在权衡参数λ下具有强拟凸性，从而保证了交替最小化过程的全局收敛性。该方法通过在小样本子集上训练弱学习器，构建了一个有限的、与数据相关的假设空间，在显著降低计算成本的同时，实现了与交叉验证相当的泛化性能，并保持了紧密的高概率界。

ABSTRACT

We propose a new PAC-Bayesian bound and a way of constructing a hypothesis space, so that the bound is convex in the posterior distribution and also convex in a trade-off parameter between empirical performance of the posterior distribution and its complexity. The complexity is measured by the Kullback-Leibler divergence to a prior. We derive an alternating procedure for minimizing the bound. We show that the bound can be rewritten as a one-dimensional function of the trade-off parameter and provide sufficient conditions under which the function has a single global minimum. When the conditions are satisfied the alternating minimization is guaranteed to converge to the global minimum of the bound. We provide experimental results demonstrating that rigorous minimization of the bound is competitive with cross-validation in tuning the trade-off between complexity and empirical performance. In all our experiments the trade-off turned to be quasiconvex even when the sufficient conditions were violated.

研究动机与目标

• 开发一种在后验分布和经验误差与先验KL散度之间权衡参数λ上均呈凸性的PAC-Bayesian界。
• 消除在PAC-Bayesian学习中对交叉验证以调优复杂度-经验性能权衡的依赖。
• 通过在小样本子集上训练模型，构建一个有限的、与数据相关的假设空间，以确保计算可行性，同时保持凸性和收敛性保证。
• 提供理论条件，使得该界对λ的依赖关系为强拟凸性，从而确保最小化过程的全局收敛性。
• 通过实证验证，即使在理论条件不满足时，该界仍保持紧密且拟凸，证明其在实践中与交叉验证具有竞争力。

提出的方法

• 提出PAC-Bayes-KL不等式的松弛形式，称为PAC-Bayes-λ界，该界在后验ρ和权衡参数λ上均为凸性。
• 推导出一种交替最小化算法，联合优化ρ和λ，且在充分条件下保证收敛。
• 通过在训练数据的随机子样本（大小为r）上训练m个弱分类器，并在剩余的n−r个样本上进行验证，构建有限假设空间。
• 将界重写为关于权衡参数λ的一元函数F(λ)，从而实现对λ的高效最小化。
• 施加充分条件（涉及验证损失的界和模型数量m），使得F(λ)为强拟凸性，从而确保唯一全局最小值。
• 所有实验中均使用均匀先验，并设定δ = 0.05以计算高概率泛化界。

实验结果

研究问题

• RQ1 能否构造一种PAC-Bayesian界，使其在后验分布和权衡参数λ上均呈凸性，从而支持全局优化？
• RQ2 在何种条件下，表示该界的单变量函数F(λ)为强拟凸性，从而保证收敛至全局最小值？
• RQ3 能否构建一个有限的、与数据相关的假设空间，使得该界的凸性和最小化保证得以保留？
• RQ4 与交叉验证相比，该界严格最小化在预测准确率和计算成本方面的表现如何？
• RQ5 当理论充分条件不满足时，该界对λ的依赖关系在实践中是否仍为拟凸性？

主要发现

• 所提出的PAC-Bayes-λ界在后验ρ和权衡参数λ上均为凸性，使得在充分条件下可通过高效的交替最小化实现全局收敛。
• 该界可重写为单变量函数F(λ)，在推导出的充分条件下，F(λ)为强拟凸性，从而确保唯一全局最小值且无虚假局部极小值。
• 在所有实验中，即使理论条件不满足，F(λ)仍保持拟凸性，表明未来工作可进一步放宽这些条件。
• 严格最小化该界在预测准确率上与通过交叉验证调优的核SVM相当，但计算成本显著更低。
• 当子样本大小较小（r ≈ d，即特征数量）且模型数量较大（m ≈ n）时，该方法在计算效率上优势最为显著，优于标准交叉验证。
• 实验中该界异常紧密，ρ加权多数投票的泛化误差估计最多仅为随机分类器的两倍。