[論文レビュー] Dirichlet-based Gaussian Processes for Large-scale Calibrated Classification

Dimitrios Milios, Raffaello Camoriano+3 more|arXiv (Cornell University)|May 28, 2018

Gaussian Processes and Bayesian Inference被引用数 20

ひとこと要約

本稿では、標準的なガウス過程分類（GPC）の高速でキャリブレーションが取れる代替手法として、ディリクレ分布に基づくガウス過程分類（GPD）を提案する。クラスラベルをディリクレ分布としてモデル化し、対数正規近似を用いて変換することで、反復的な事後分布近似を回避するGP回帰が可能となり、計算コストを大幅に削減しながらGPCと同等のキャリブレーション性能と精度を達成する。

ABSTRACT

In this paper, we study the problem of deriving fast and accurate classification algorithms with uncertainty quantification. Gaussian process classification provides a principled approach, but the corresponding computational burden is hardly sustainable in large-scale problems and devising efficient alternatives is a challenge. In this work, we investigate if and how Gaussian process regression directly applied to the classification labels can be used to tackle this question. While in this case training time is remarkably faster, predictions need be calibrated for classification and uncertainty estimation. To this aim, we propose a novel approach based on interpreting the labels as the output of a Dirichlet distribution. Extensive experimental results show that the proposed approach provides essentially the same accuracy and uncertainty quantification of Gaussian process classification while requiring only a fraction of computational resources.

研究の動機と目的

• 大規模データセットに適した、キャリブレーションが取れる不確実性評価を備えたスケーラブルな分類手法の開発。
• 反復的事後分布近似に依存する標準的なガウス過程分類（GPC）の高い計算コストの問題に対処すること。
• 通常はキャリブレーションが取れないラベルに対する直接的なGP回帰が、原理的なラベル変換によって良好にキャリブレーション可能かどうかを検討すること。
• ディリクレ分布を用いたラベルの事前変換が、後処理によるキャリブレーションステップを必要とせず、高速かつ正確でキャリブレーションが取れる予測を可能にすることを実証すること。

提案手法

• 分類ラベルをディリクレ分布の実現値としてモデル化し、クラス確率の確率的解釈を可能にする。
• ラベルをラベルがガンマ分布に従うと仮定できる潜在空間に変換する。
• 潜在変数を対数正規分布で近似することで、対数空間における解析的ガウス過程推論が可能になる。
• ラベル変換を固定の事前処理ステップとして扱うことで、GPCとは異なり反復的な事後分布近似を回避する。
• 最終的な分類器は、最適化されたハイパーパrameterを用いて変換済みラベルにおけるGP回帰を用いる。
• 大規模データセットへのスケーラビリティをさらに向上させるために、スパースGP近似を実装する。

実験結果

リサーチクエスチョン

• RQ1 ラベルに対する直接的なGP回帰は、後処理によるキャリブレーションなしに良好にキャリブレーション可能か？
• RQ2 原理的な確率的ラベル変換により、GP回帰を用いて高速かつ正確でキャリブレーションが取れる分類が可能か？
• RQ3 提案手法の性能は、標準GPCおよび最小二乗回帰（GPR）と比較して、精度、キャリブレーション、計算コストの観点でどのように異なるか？
• RQ4 提案手法による計算コストの削減は、スパースGP近似の性能向上に活かせるか？

主な発見

• GPDは、標準GPCと最小二乗回帰（GPR）の中間の分類精度を達成しており、いくつかのデータセットではGPCと同等またはそれを上回る性能を示す。
• 期待キャリブレーション誤差（ECE）で測定した結果、GPCと同等の良好なキャリブレーション性能を示し、後処理によるキャリブレーションを必要としない。
• GPCと比較して、学習時間を数個のオーダー単位で短縮でき、letterやmocapといった大規模データセットでは最大100倍の高速化が達成された。
• 計算コストの削減により、スパースGP近似でより多くの誘導点（inducing points）を用いることができ、GPCと同等の誘導点数でもより低い誤差率を達成した。
• SUSYデータセットでは、GPDのテスト誤差率が19.8%であり、GPC（20.1%）およびGPR（20.5%）を上回ったが、著しく高速であった。
• GPDの予測分布はGPCとは異なり、別個のモデリングアプローチを示しており、大規模な設定における不確実性評価の分野で有望である。