[论文解读] Multi-class Gaussian Process Classification with Noisy Inputs

Carlos Villacampa-Calvo, Bryan Zaldívar+2 more|arXiv (Cornell University)|Jan 28, 2020

Gaussian Processes and Bayesian Inference参考文献 63被引用 22

一句话总结

本文提出了一种多类别高斯过程分类器，通过变分推断考虑输入噪声，从而实现更优的预测不确定性估计。主要贡献在于，在已知或学习输入噪声的情况下，相较于标准高斯过程分类器，显著提升了测试对数似然，同时保持了分类准确率。

ABSTRACT

It is a common practice in the machine learning community to assume that the observed data are noise-free in the input attributes. Nevertheless, scenarios with input noise are common in real problems, as measurements are never perfectly accurate. If this input noise is not taken into account, a supervised machine learning method is expected to perform sub-optimally. In this paper, we focus on multi-class classification problems and use Gaussian processes (GPs) as the underlying classifier. Motivated by a data set coming from the astrophysics domain, we hypothesize that the observed data may contain noise in the inputs. Therefore, we devise several multi-class GP classifiers that can account for input noise. Such classifiers can be efficiently trained using variational inference to approximate the posterior distribution of the latent variables of the model. Moreover, in some situations, the amount of noise can be known before-hand. If this is the case, it can be readily introduced in the proposed methods. This prior information is expected to lead to better performance results. We have evaluated the proposed methods by carrying out several experiments, involving synthetic and real data. These include several data sets from the UCI repository, the MNIST data set and a data set coming from astrophysics. The results obtained show that, although the classification error is similar across methods, the predictive distribution of the proposed methods is better, in terms of the test log-likelihood, than the predictive distribution of a classifier based on GPs that ignores input noise.

研究动机与目标

• 为解决机器学习中普遍假设输入数据无噪声的问题，该假设在存在输入噪声时会降低性能。
• 开发显式建模输入噪声的多类别高斯过程分类器，以提升预测不确定性和鲁棒性。
• 利用合成数据和真实世界数据，评估已知或学习的输入噪声对分类性能的影响。
• 证明引入输入噪声可获得更校准的预测分布，尤其在决策边界附近表现更优。

提出的方法

• 提出一种多类别高斯过程分类器（MGP），通过使用变分分布建模潜在无噪声输入，将标准高斯过程分类扩展至处理输入噪声。
• 提出一种新方法NIMGP，利用变分推断为每个数据点学习输入噪声方差。
• 采用基于神经网络的变体NIMGP-NN，从数据中预测输入噪声方差，实现灵活的、与输入相关的噪声建模。
• 开发固定优化变体NIMGP-FO，将输入噪声方差视为需在训练过程中优化的超参数。
• 使用变分推断近似潜在变量的后验分布，即使在高斯过程分类中存在不可计算积分，也能实现高效训练。
• 通过直接设置方差参数，将输入噪声的先验知识融入模型，当此类知识可用时可提升性能。

实验结果

研究问题

• RQ1 在多类别高斯过程分类中建模输入噪声是否能提升预测对数似然，相比标准高斯过程分类器？
• RQ2 为每个数据点学习输入噪声方差是否能带来更校准的预测分布？
• RQ3 对输入噪声的先验知识如何影响多类别高斯过程模型的分类性能？
• RQ4 输入噪声建模带来的性能增益是否在决策边界附近或高噪声环境下更为显著？
• RQ5 不同输入噪声建模策略（学习型、已知型、基于神经网络）在预测准确率和不确定性校准方面如何比较？

主要发现

• 在天体物理学数据集上，NIMGP-NN方法的测试对数似然为0.280 ± 0.012，显著优于MGP的0.381 ± 0.021，尽管测试误差相近。
• 在4类别合成数据上，NIMGP-NN的测试误差为0.284 ± 0.0052，与MGP的0.293 ± 0.005相当，但对数似然显著更优。
• 当输入噪声事先已知时，NIMGP-NN方法结合先验噪声信息在天体物理学数据集上达到测试对数似然0.280 ± 0.012，优于所有其他方法。
• NIMGP-FO变体在天体物理学数据集上（无检测和曲率显著性特征）达到测试对数似然0.309 ± 0.015，优于MGP的0.381 ± 0.021。
• 混淆矩阵显示，与MGP相比，NIMGP-NN和NIMGP-FO在建模噪声后，对稀有类别（如psr）的预测置信度有所提升，尤其在噪声被建模时。
• NIMGP-NN的参数数量随训练样本数和神经网络规模增长，但当M ≪ N时仍保持可接受规模。