[论文解读] Dirichlet-based Gaussian Processes for Large-scale Calibrated Classification

Dimitrios Milios, Raffaello Camoriano+3 more|arXiv (Cornell University)|May 28, 2018

Gaussian Processes and Bayesian Inference被引用 20

一句话总结

本文提出了一种基于狄利克雷分布的高斯过程分类方法（GPD），这是一种快速且校准良好的标准高斯过程分类（GPC）替代方法。通过将类别标签建模为狄利克雷分布，并利用对数正态近似进行变换，GPD 实现了无需迭代后验近似的高效高斯过程回归，在计算成本仅为标准 GPC 的几分之一的同时，达到了 GPC 水平的校准性和准确性。

ABSTRACT

In this paper, we study the problem of deriving fast and accurate classification algorithms with uncertainty quantification. Gaussian process classification provides a principled approach, but the corresponding computational burden is hardly sustainable in large-scale problems and devising efficient alternatives is a challenge. In this work, we investigate if and how Gaussian process regression directly applied to the classification labels can be used to tackle this question. While in this case training time is remarkably faster, predictions need be calibrated for classification and uncertainty estimation. To this aim, we propose a novel approach based on interpreting the labels as the output of a Dirichlet distribution. Extensive experimental results show that the proposed approach provides essentially the same accuracy and uncertainty quantification of Gaussian process classification while requiring only a fraction of computational resources.

研究动机与目标

• 开发一种适用于大规模数据集的可扩展分类方法，具备校准的不确定性量化能力。
• 解决标准高斯过程分类（GPC）因依赖昂贵的后验近似而带来的高计算成本问题。
• 探究是否可以通过合理设计的标签变换，使直接在标签上进行高斯过程回归（通常未校准）实现良好的校准性。
• 证明通过狄利克雷建模对标签进行预处理变换，可在无需事后校准步骤的情况下实现快速、准确且校准良好的预测。

提出的方法

• 该方法将分类标签建模为狄利克雷分布的实现，从而为类别概率提供概率解释。
• 将标签变换到潜空间，假设其服从伽马分布，从而支持高斯过程回归。
• 对服从伽马分布的潜变量使用对数正态分布进行近似，从而实现在对数空间中的解析高斯过程推断。
• 通过将标签变换视为固定预处理步骤，避免了迭代后验近似，与 GPC 不同。
• 最终分类器基于变换后的标签进行高斯过程回归，超参数通过最大边际似然法进行优化。
• 通过使用稀疏 GP 近似进一步提升大规模数据集上的可扩展性。

实验结果

研究问题

• RQ1 是否可以在无需事后校准的情况下，使直接在分类标签上进行的高斯过程回归实现良好校准？
• RQ2 是否可以通过合理的概率标签变换，实现使用高斯过程回归的快速、准确且校准良好的分类？
• RQ3 与标准 GPC 和最小二乘分类相比，所提出方法在准确性、校准性和计算成本方面的性能表现如何？
• RQ4 是否可以利用该方法带来的计算节省，进一步提升稀疏 GP 近似的性能？

主要发现

• GPD 的分类准确性介于标准 GPC 和最小二乘回归（GPR）之间，且在多个数据集上性能通常与 GPC 相当或更优。
• 通过期望校准误差（ECE）衡量，该方法提供了良好的校准预测，其校准性与 GPC 相当，且无需事后校准。
• 与 GPC 相比，GPD 将训练时间减少了几个数量级，在 letter 和 mocap 等大规模数据集上实现了高达 100 倍的速度提升。
• 计算节省使得在稀疏 GP 近似中可使用更多诱导点，从而在相同诱导点数量下，误差率低于 GPC。
• 在 SUSY 数据集上，GPD 的测试误差率为 19.8%，优于 GPC（20.1%）和 GPR（20.5%），且显著更快。
• GPD 的预测分布与 GPC 不同，表明其采用了不同的建模方法，且在大规模场景下的不确定性量化方面展现出良好前景。