[论文解读] PAC-Bayesian AUC classification and scoring

James Ridgway, Pierre Alquier+2 more|arXiv (Cornell University)|Oct 7, 2014

Gaussian Processes and Bayesian Inference参考文献 27被引用 13

一句话总结

本文提出了一种基于PAC-Bayesian框架的AUC优化分类与评分方法，采用线性和非线性评分函数，并利用高斯分布和spike-and-slab先验实现特征选择。该方法推导出非渐近泛化边界，并引入高效的计算方法——序贯蒙特卡洛（Sequential Monte Carlo）与期望传播（Expectation-Propagation），在基准数据集上展现出优异的实验性能，且相比现有方法具有显著的速度优势。

ABSTRACT

We develop a scoring and classification procedure based on the PAC-Bayesian approach and the AUC (Area Under Curve) criterion. We focus initially on the class of linear score functions. We derive PAC-Bayesian non-asymptotic bounds for two types of prior for the score parameters: a Gaussian prior, and a spike-and-slab prior; the latter makes it possible to perform feature selection. One important advantage of our approach is that it is amenable to powerful Bayesian computational tools. We derive in particular a Sequential Monte Carlo algorithm, as an efficient method which may be used as a gold standard, and an Expectation-Propagation algorithm, as a much faster but approximate method. We also extend our method to a class of non-linear score functions, essentially leading to a nonparametric procedure, by considering a Gaussian process prior.

研究动机与目标

• 开发一种PAC-Bayesian框架，用于AUC优化的评分与分类，确保非渐近泛化边界。
• 通过在线性评分参数上的spike-and-slab先验，实现在AUC学习中的特征选择。
• 设计计算高效的推理方法——序贯蒙特卡洛（SMC）与期望传播（EP）——用于评分函数的PAC-Bayesian后验分布。
• 通过高斯过程先验将框架扩展至非线性评分，实现非参数化的AUC学习。
• 在具有不同类别不平衡程度的多样化数据集上，实证验证该方法的性能与计算效率。

提出的方法

• 该方法使用如下形式的Gibbs后验分布：$ \pi_{\xi,\gamma}(\theta|\mathcal{D}) \propto \pi_\xi(\theta) \exp\{-\gamma R_n(\theta)\} $，其中$ R_n(\theta) $为经验AUC风险。
• 在较弱假设下推导出非渐近PAC-Bayesian边界：假设Dens(c)关于特征差异分布，以及关于噪声结构的边界假设MA(κ,C)。
• 为实现计算推理，开发了一种序贯蒙特卡洛（SMC）算法，作为后验近似的黄金标准方法。
• 提出了一种期望传播（EP）算法，用于更快的近似推理，通过并行更新提升计算效率。
• spike-and-slab先验被建模为点质量与高斯分布的混合，通过后验包含概率实现自动特征选择。
• 对于非线性评分，采用高斯过程先验来定义非参数化的AUC优化评分函数。

实验结果

研究问题

• RQ1 PAC-Bayesian理论能否被有效扩展至基于AUC的分类与评分，并提供非渐近泛化边界？
• RQ2 高斯分布与spike-and-slab先验在AUC优化学习中表现如何，特别是在特征选择方面？
• RQ3 如SMC与EP等高效贝叶斯推理方法能否被适配至AUC风险，其在准确率与速度上的表现如何？
• RQ4 该方法在具有不同类别不平衡与维度的现实世界数据集上的性能如何？
• RQ5 通过高斯过程先验实现的非参数化扩展与线性模型相比，在AUC优化中表现如何？

主要发现

• PAC-Bayesian框架在较弱正则性条件下（包括假设Dens(c)与边界假设MA(κ,C)）提供了对AUC风险的非渐近边界。
• SMC算法提供了可靠的后验近似，后验边际分布与真实后验高度一致，如图4g所示（Pima Indians数据集）。
• EP算法实现了显著的速度提升：Pima数据集耗时7.75秒（对比C语言中Rankboost的3.26秒），DNA数据集耗时63.47秒（对比Rankboost的141.60秒），Colon数据集耗时60.99秒（对比Rankboost的156.85秒）。
• spike-and-slab先验实现了有效的特征选择，后验包含概率成功识别出线性模型中的相关协变量。
• 通过高斯过程先验的非参数化扩展，可在不假设固定参数形式的前提下，实现灵活且数据驱动的AUC优化评分。
• 在所有数据集上，所提方法（EP-AUC）在AUC性能上表现具有竞争力，且计算时间显著低于Rankboost。