[论文解读] Mind the Nuisance: Gaussian Process Classification using Privileged Noise

Daniel Hernández-Lobato, Viktoriia Sharmanska+3 more|arXiv (Cornell University)|Jul 1, 2014

Gaussian Processes and Bayesian Inference参考文献 30被引用 19

一句话总结

该论文提出了一种新型高斯过程分类器 GPC+，将特权信息建模为潜在函数中的数据相关噪声，使模型能够调节逻辑斯蒂似然斜率以反映对训练样本的置信度。实验表明，GPC+ 在公开数据集上的表现优于标准 GPC 和 SVM+，包括使用深度特征和语义属性作为特权输入时，实现了最先进的准确率，并具备可解释的不确定性建模能力。

ABSTRACT

The learning with privileged information setting has recently attracted a lot of attention within the machine learning community, as it allows the integration of additional knowledge into the training process of a classifier, even when this comes in the form of a data modality that is not available at test time. Here, we show that privileged information can naturally be treated as noise in the latent function of a Gaussian Process classifier (GPC). That is, in contrast to the standard GPC setting, the latent function is not just a nuisance but a feature: it becomes a natural measure of confidence about the training data by modulating the slope of the GPC sigmoid likelihood function. Extensive experiments on public datasets show that the proposed GPC method using privileged noise, called GPC+, improves over a standard GPC without privileged knowledge, and also over the current state-of-the-art SVM-based method, SVM+. Moreover, we show that advanced neural networks and deep learning methods can be compressed as privileged information.

研究动机与目标

• 将仅在训练时可用的特权信息以系统化、可解释的方式整合到高斯过程分类中。
• 通过潜在函数中的数据相关噪声调制来建模分类器置信度，从而改善泛化性能。
• 将贝叶斯分类扩展至 GPC 中的异方差噪声，这一此前未被探索的设置。
• 证明现代深度神经网络特征（如 DeCAF）和语义属性可作为有效的特权信息。
• 为这一新型异方差 GPC 框架开发一种变分推理方法，以实现近似后验计算。

提出的方法

• 将特权信息建模为高斯过程分类器潜在函数中的噪声项，该噪声项调节逻辑斯蒂似然的斜率。
• 在训练过程中对噪声进行积分，确保测试时无需使用特权数据。
• 采用基于期望传播的变分推理方法，近似计算难以处理的边缘似然和预测分布。
• 模型为每个训练样本学习一个数据相关的噪声水平，其中高噪声表示低置信度，低噪声表示高置信度。
• 该方法被应用于标准特征和深度特征（如 DeCAF）作为特权输入，通过主成分分析（PCA）和标准化进行降维。
• 所得 GPC+ 模型将逻辑斯蒂函数的斜率解释为训练样本可靠性的度量，更陡的斜率表示对标签的更高置信度。

实验结果

研究问题

• RQ1 能否将特权信息有效建模为高斯过程分类器中的噪声，以提升性能？
• RQ2 将特权数据建模为噪声如何影响分类器的可解释性与置信度估计？
• RQ3 所提出的 GPC+ 方法在基准数据集上的分类准确率是否显著优于标准 GPC 和 SVM+？
• RQ4 深度神经网络表征（如 DeCAF）和语义属性是否可在贝叶斯分类框架中作为有效的特权信息？
• RQ5 所提出的异方差 GPC 分类变分推理方法是否既有效又可扩展？

主要发现

• 当使用 DeCAF 特征作为特权信息时，GPC+ 在 AwA 数据集上的表现显著优于标准 GPC 和 SVM+，具有统计学上的显著优势（p < 10%）。
• 在 AwA 数据集上使用语义属性作为特权数据时，GPC+ 在四种方法中平均排名最佳，但与 GPC 的性能差异未达到统计显著性。
• 该模型成功地将深度特征（4096D DeCAF）和语义属性（85D）作为特权输入，证明了该方法在不同数据模态下的灵活性。
• GPC+ 中逻辑斯蒂似然函数的斜率提供了一种可解释的置信度度量：更陡的斜率对应于更简单、更易被自信分类的样本。
• 实验表明，GPC+ 通过利用特权数据对易分类样本赋予更高重要性，从而提升了泛化能力。
• 该方法是首个在高斯过程分类中应用异方差噪声建模的工作，实现了贝叶斯框架下基于数据的不确定性量化。