[論文レビュー] Scalable Variational Gaussian Process Classification

James Hensman, Alexander Matthews+1 more|arXiv (Cornell University)|Nov 7, 2014

Gaussian Processes and Bayesian Inference参考文献 26被引用数 346

ひとこと要約

本稿では、共分散行列を事前に近似せずに周辺尤度を直接近似する、新しい変分バインドを用いたスケーラブルな変分推論手法を、ガウス過程分類に提案する。スパースな誘導点と確率的最適化を組み合わせることで、ベンチマークデータセット上で最先端の性能を達成し、数百万件のデータポイントにスケーリング可能となり、フライト遅延予測のような大規模な問題における高精度な分類を可能にする。

ABSTRACT

Gaussian process classification is a popular method with a number of appealing properties. We show how to scale the model within a variational inducing point framework, outperforming the state of the art on benchmark datasets. Importantly, the variational formulation can be exploited to allow classification in problems with millions of data points, as we demonstrate in experiments.

研究の動機と目的

• 非共役なGP分類におけるスケーラブルで変分推論可能な手法が不足している問題に対処すること。
• 共分散行列を事前に近似しない変分バインドを開発し、近似の質と最適化の安定性を向上させること。
• 変分目的関数の確率的最適化を可能とし、数百万件のデータポイントを含むデータセットでの学習を可能とすること。
• 深層GPやGP回帰ネットワークなどの複雑なGPモデルと互換性を持つ統一されたフレームワークを提供すること。
• ベンチマークおよび実世界のデータセットにおいて、GFITC や IVM と比較して、精度とスケーラビリティの両面で優れた性能を発揮すること。

提案手法

• 共分散行列を事前に近似しないで周辺尤度を直接近似する新しい変分バインド、KLSP を提案する。
• 誘導入力 Z と誘導変数 u を用いたスパース近似を採用し、q(f|u) を u 条件付きのガウス過程とする。
• 誘導変数の事後分布を近似するため、q(u) = N(u|m, S) を用いる。
• ジェンセンの不等式を用いて周辺尤度の対数の下界を導出し、取り扱い可能な目的関数を導出する。
• ADADelta アルゴリズムを用いたミニバッチ更新による確率的最適化を適用し、MNIST やフライトデータなど大規模データセットでの学習を可能にする。
• 非ガウス尤度に対しては、ガウス＝エラーメートル数値積分を用いて変分目的関数内の対数尤度項を近似する。

実験結果

リサーチクエスチョン

• RQ1 共分散行列を事前に近似しないで、GP分類に適した変分推論フレームワークを設計できるか？
• RQ2 このようなフレームワークを確率的最適化で最適化でき、数百万件のデータポイントにスケーリング可能か？
• RQ3 提案手法は、予測精度とキャリブレーションの観点で、既存のスパースGP分類手法を上回るか？
• RQ4 この手法は、深層GP や GP 回帰ネットワークなどの階層的GPモデルに統合可能か？
• RQ5 フライト遅延予測のような実世界の高次元・大規模データセットにおいて、一般化性能はどの程度高いか？

主な発見

• 提案手法 KLSP は、ベンチマークデータセットにおいて最先端の GFITC 手法を上回り、より低い負の対数尤度と優れたキャリブレーションを達成した。
• 60,000 個の訓練データポイントを含む MNIST データセットにおいて、確率的最適化を用いてテスト精度 97.8%、負の対数尤度 0.069 を達成した。
• 590万件のフライト遅延実データセットにおいて、線形分類器（誤差率 37%）を著しく上回り、負の対数尤度 0.58 を達成した。これは優れた予測性能を示している。
• 最適化されたカーネルパラメータから、Matern-3/2 カーネルが支配的であり、時刻と年間の時期が最も関連性の高い特徴であることが判明した。これはデータに高い非線形性が存在することを示している。
• 従来の平均場スパースアプローチとは異なり、安定した最適化行動を示した。これは、誤ったキャリブレーションによる不規則な性能とは対照的であった。
• KLSP バインドにより確率的最適化が可能となり、従来のGP手法では扱いにくかった大規模データアプリケーションにおけるGP分類が現実可能になった。