[論文レビュー] Multi-Class Gaussian Process Classification Made Conjugate: Efficient Inference via Data Augmentation

Théo Galy-Fajou, Florian Wenzel+2 more|arXiv (Cornell University)|May 23, 2019

Gaussian Processes and Bayesian Inference被引用数 12

ひとこと要約

本論文は、条件付き共役性を達成するための変更されたロジスティック-ソフトマックス尤度を用いた、新しいマルチクラスガウス過程分類モデルを提案する。この手法により、データ拡張が可能となり、高速で安定した変分推論法が開発された。閉形式での更新を可能にしたことで、最先端の手法と比較して最大2桁の高速化を達成しながら、良好にキャリブレートされた不確実性推定と競争力のある予測性能を維持した。

ABSTRACT

We propose a new scalable multi-class Gaussian process classification approach building on a novel modified softmax likelihood function. The new likelihood has two benefits: it leads to well-calibrated uncertainty estimates and allows for an efficient latent variable augmentation. The augmented model has the advantage that it is conditionally conjugate leading to a fast variational inference method via block coordinate ascent updates. Previous approaches suffered from a trade-off between uncertainty calibration and speed. Our experiments show that our method leads to well-calibrated uncertainty estimates and competitive predictive performance while being up to two orders faster than the state of the art.

研究の動機と目的

• マルチクラスガウス過程分類における不確実性のキャリブレーションと計算効率のトレードオフを解消すること。
• サンプリングや数値積分を回避する、スケーラブルなマルチクラスGPモデルの推論手法を開発すること。
• 高速性を追求するがゆえに段階的な分類性能を犠牲にするロバストマックス尤度と比較して、より優れた不確実性キャリブレーションを実現すること。
• データ拡張による条件付き共役性を活用し、多数のクラスを有する大規模データセットに対しても効率的な推論を可能とすること。
• 既存の変分推論およびサンプリングベースの手法に対する安定的かつスケーラブルな代替手法を提供すること。

提案手法

• 潜在変数モデルにおける条件付き共役性を可能にするために、変更されたロジスティック-ソフトマックス尤度関数を導入する。
• 非共役尤度を条件付き共役形式に変換するためのデータ拡張戦略を適用し、事後分布推論を簡素化する。
• すべての更新が閉形式で得られるブロック座標上昇に基づく変分推論アルゴリズムを導出する。これにより、数値積分やサンプリングを回避できる。
• 大規模データセットへのスケーラビリティを実現するため、ミニバッチを用いた確率的勾配最適化を採用する。
• 小規模から中規模のデータセットに対しては、正確な事後分布サンプリングが可能な代替のギブスサンプリングスキームを提供する。
• スケーラブルな推論を可能とするためにインダクティングポイントを用い、ハイパーパrameterはAdamによる最適化を実施する。

実験結果

リサーチクエスチョン

• RQ1 マルチクラスGP分類における条件付き共役性を実現するため、ソフトマックス尤度をどのように変更すればよいか。
• RQ2 得られた条件付き共役モデルは、サンプリングや数値積分を一切用いずに、高速で安定的かつスケーラブルな変分推論を可能にするか。
• RQ3 提案手法は、ロバストマックス尤度のような既存手法と比較して、より優れた不確実性キャリブレーションを達成できるか。
• RQ4 提案手法の推論速度と予測性能は、最先端のマルチクラスGP分類手法と比較してどの程度か。
• RQ5 このデータ拡張アプローチは、ベイジアンニューラルネットワークなどの他のベイジアンモデルへも拡張可能か。

主な発見

• 提案手法は、EPベースのヘヴィサイドモデルに比べ最大2桁の高速化を達成し、SVIベースのロバストマックスモデルに比べ約10倍の高速化を実現した。
• 負の対数尤度において、MNISTデータセット（分離が容易なデータ）を除き、ロバストマックスモデルを常に上回り、より優れた不確実性キャリブレーションを示した。
• 予測誤差はすべての手法で同等であり、不確実性キャリブレーションの差異にもかかわらず、競争力のある予測性能を維持していることが確認された。
• 勾配近似のノイズを回避できる閉形式更新のおかげで、SVIベースのロバストマックス手法よりも推論プロセスがはるかに安定している。
• ギブスサンプリングのバリエーションは正確な事後分布サンプルを提供し、小規模データセットにおける正確な推論の有効性を示している。
• 特に重複するクラスを有するデータセットにおいて、キャリブレートされた不確実性が重要となる状況に特に適している。