[論文レビュー] Multi-class Gaussian Process Classification with Noisy Inputs

Carlos Villacampa-Calvo, Bryan Zaldívar+2 more|arXiv (Cornell University)|Jan 28, 2020

Gaussian Processes and Bayesian Inference参考文献 63被引用数 22

ひとこと要約

この論文は、変分推論を用いて入力ノイズを考慮する多クラスガウス過程分類器を提案し、より良い予測不確実性推定を可能にする。主な貢献は、入力ノイズが既知または学習可能である場合でも分類精度を損なわず、標準のGP分類器よりも優れたテスト尤度を達成することにある。

ABSTRACT

It is a common practice in the machine learning community to assume that the observed data are noise-free in the input attributes. Nevertheless, scenarios with input noise are common in real problems, as measurements are never perfectly accurate. If this input noise is not taken into account, a supervised machine learning method is expected to perform sub-optimally. In this paper, we focus on multi-class classification problems and use Gaussian processes (GPs) as the underlying classifier. Motivated by a data set coming from the astrophysics domain, we hypothesize that the observed data may contain noise in the inputs. Therefore, we devise several multi-class GP classifiers that can account for input noise. Such classifiers can be efficiently trained using variational inference to approximate the posterior distribution of the latent variables of the model. Moreover, in some situations, the amount of noise can be known before-hand. If this is the case, it can be readily introduced in the proposed methods. This prior information is expected to lead to better performance results. We have evaluated the proposed methods by carrying out several experiments, involving synthetic and real data. These include several data sets from the UCI repository, the MNIST data set and a data set coming from astrophysics. The results obtained show that, although the classification error is similar across methods, the predictive distribution of the proposed methods is better, in terms of the test log-likelihood, than the predictive distribution of a classifier based on GPs that ignores input noise.

研究の動機と目的

• 機械学習における一般的な仮定である入力データがノイズフリーであるという仮定に反し、入力ノイズが存在する場合に性能が低下することを是正する。
• 入力ノイズを明示的にモデル化する多クラスガウス過程分類器を開発し、予測不確実性とロバストネスを向上させる。
• 合成データおよび実世界データを用いて、既知または学習可能な入力ノイズが分類性能に与える影響を評価する。
• 入力ノイズを組み込むことで、決定境界付近においてより良好にキャリブレートされた予測分布が得られることを示す。

提案手法

• 変分分布を用いて潜在的なノイズレス入力をモデル化することで、標準のGP分類を入力ノイズに対応できる多クラスGP分類器（MGP）を拡張する。
• 各データポイントごとの入力ノイズ分散を変分推論を用いて学習する、新しい手法NIMGPを提案する。
• 入力依存のノイズモデリングを可能にするために、ニューラルネットワークベースの変種NIMGP-NNを採用する。
• 入力ノイズ分散をハイパーパrameterとして扱い、トレーニング中に最適化する固定最適化バージョンNIMGP-FOを開発する。
• GP分類における積分が解けない問題に対処するため、潜在変数の事後分布を近似する変分推論を用いる。
• 事前知識として入力ノイズに関する情報を直接パラメータに組み込むことで、そのような知識が利用可能である場合の性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 多クラスGP分類において入力ノイズをモデル化することは、標準のGP分類器と比較して予測尤度を向上させるか？
• RQ2 各データポイントごとにノイズ分散を学習することは、よりキャリブレートされた予測分布をもたらすか？
• RQ3 入力ノイズに関する事前知識が、多クラスGPモデルの分類性能に与える影響は何か？
• RQ4 入力ノイズモデリングによる性能向上は、決定境界付近や高ノイズ環境において顕著に現れるか？
• RQ5 学習済み、既知、ニューラルネットワークベースの異なる入力ノイズモデリング戦略は、予測精度と不確実性キャリブレーションの観点でどのように比較できるか？

主な発見

• 天文学データセットでは、NIMGP-NNはテスト尤度が 0.280 ± 0.012 に達し、テスト誤差はMGP（0.381 ± 0.021）と同等であったが、尤度は顕著に優れていた。
• 4クラスの合成データでは、NIMGP-NNのテスト誤差は 0.284 ± 0.0052 であり、MGP（0.293 ± 0.005）と同等であったが、尤度は著しく優れていた。
• 事前に入力ノイズが分かっている場合、NIMGP-NNは天文学データセットでテスト尤度 0.280 ± 0.012 を達成し、他のすべての手法を上回った。
• NIMGP-FOはノイズ分散を最適化する固定最適化バージョンであり、天文学データセット（検出・曲率の有意性属性なし）でテスト尤度 0.309 ± 0.015 を達成し、MGP（0.381 ± 0.021）を上回った。
• 混同行列図から、NIMGP-NNおよびNIMGP-FOは、特にノイズがモデル化された場合、レアクラス（例：psr）の予測信頼性をMGPよりも向上させた。
• NIMGP-NNのパラメータ数は、学習データ数とニューラルネットワークのサイズに比例するが、M ≪ N の場合でも実用的である。