[論文レビュー] Scalable Multi-Class Gaussian Process Classification using Expectation Propagation

Carlos Villacampa-Calvo, Daniel Hernández-Lobato|arXiv (Cornell University)|Jun 22, 2017

Gaussian Processes and Bayesian Inference参考文献 16被引用数 7

ひとこと要約

この論文は、誘導点と確率的最適化を用いた期待値伝播（EP）を用いて、スケーラブルな多クラスガウス過程分類手法を提案する。対数周辺尤度をデータインスタンスごとの和に再定式化することで、確率的勾配とミニバッチ学習が可能となり、計算コストは$Ó(CM^3)$、メモリコストは$Ó(CM^2)$に抑えられ、数百万インスタンスのデータセットに対しても効率的な学習が可能となる。予測精度と収束速度において、変分推論を上回る性能を発揮する。

ABSTRACT

This paper describes an expectation propagation (EP) method for multi-class classification with Gaussian processes that scales well to very large datasets. In such a method the estimate of the log-marginal-likelihood involves a sum across the data instances. This enables efficient training using stochastic gradients and mini-batches. When this type of training is used, the computational cost does not depend on the number of data instances $N$. Furthermore, extra assumptions in the approximate inference process make the memory cost independent of $N$. The consequence is that the proposed EP method can be used on datasets with millions of instances. We compare empirically this method with alternative approaches that approximate the required computations using variational inference. The results show that it performs similar or even better than these techniques, which sometimes give significantly worse predictive distributions in terms of the test log-likelihood. Besides this, the training process of the proposed approach also seems to converge in a smaller number of iterations.

研究の動機と目的

• 大規模データセットにおける多クラスガウス過程分類のスケーラビリティの制限を解消すること。
• EPベースの推論において、確率的勾配とミニバッチを用いた効率的な学習を可能とすること。
• 誘導点と近似尤度を用いることで、多クラスGP分類における計算コストとメモリコストを削減すること。
• 従来の変分推論手法と比較して、予測性能と収束速度を向上させること。
• EPベースの手法が、テスト尤度の観点から、変分推論よりも信頼性の高い予測分布を提供することを示すこと。

提案手法

• 本手法は、$Ó(N)$から$Ó(M)$に潜在変数の数を削減するため、FITC（完全独立訓練条件）近似を採用する。ここで$M \ll N$であり、$M$は誘導点の数を表す。
• 対数周辺尤度をデータインスタンスごとの和に再定式化することで、ミニバッチを用いた確率的最適化が可能になる。
• 尤度計算における高価な1次元数値積分を回避するため、新しい近似尤度が用いられる。
• データをミニバッチで処理することでメモリ使用量をさらに削減するため、確率的EP（SEP）が導入される。
• 後方分布の近似にEP更新を用いることで、学習率のハイパーパrameterを回避し、収束が速くなる。
• 各潜在関数は共分散関数を伴うガウス過程としてモデル化され、分類ルールは各入力における潜在関数の最大値のインデックスに基づく。

実験結果

リサーチクエスチョン

• RQ1 期待値伝播は、多クラスガウス過程分類における確率的最適化を可能にするように適応可能か？
• RQ2 提案手法は、大規模データセットにおいて、テスト尤度の観点で変分推論を上回る予測性能を達成するか？
• RQ3 計算コストとメモリコストをそれぞれ$Ó(CM^3)$および$Ó(CM^2)$にまで削減でき、数百万インスタンスのスケーラビリティを実現できるか？
• RQ4 なぜ変分推論はときとして劣った予測分布を生成するのか？EPベースの手法はこの問題を回避できるか？
• RQ5 EPと変分推論における誘導点の配置にはどのような違いがあり、モデル性能にどのような影響を与えるか？

主な発見

• 提案されたEPベースの手法は、MNISTデータセットでテスト誤差2.08%、負のテスト尤度0.0725を達成し、予測精度において変分推論を上回る。
• 210万インスタンスを含む大規模なフライト遅延データセットにおいて、変分推論よりも収束が早く、ロジスティック回帰ベースラインを素早く上回る。
• 変分推論の負のテスト尤度は学習中に増加しており、予測分布の質が低いことを示している。一方、EPとSEPは安定的かつ優れた性能を維持する。
• 確率的EP（SEP）は、学習率に依存しないより効率的なEP更新により、変分推論よりも高速に収束する。
• 本手法は、誘導点をプリーニング戦略に類似した方法で配置するが、変分推論は境界付近に集中させる傾向がある。
• 本手法は、数百万インスタンスのスケーラビリティを実現するEPベースの多クラスGP分類手法として、初めて確率的最適化をサポートする。