[論文レビュー] Scalable Gaussian Process Classification via Expectation Propagation

Daniel Hernández-Lobato, José Miguel Hernández-Lobato|arXiv (Cornell University)|Jul 16, 2015

Gaussian Processes and Bayesian Inference参考文献 15被引用数 7

ひとこと要約

本稿では、大規模なガウス過程分類のための新しい手法であるスケーラブル期待値伝搬（SEP）を提案する。SEPは、データ要約された尤度関数の推定を用いて分散学習とハイパーパrameterの確率的最適化を可能にし、計算可能でスケーラブルな marginal likelihood の推定を実現する。SEPは、最新の変分推論と同等の性能を達成するとともに、単変量数値積分を回避し、より正確な事後分布近似のおかげで初期収束が速い。

ABSTRACT

Variational methods have been recently considered for scaling the training process of Gaussian process classifiers to large datasets. As an alternative, we describe here how to train these classifiers efficiently using expectation propagation. The proposed method allows for handling datasets with millions of data instances. More precisely, it can be used for (i) training in a distributed fashion where the data instances are sent to different nodes in which the required computations are carried out, and for (ii) maximizing an estimate of the marginal likelihood using a stochastic approximation of the gradient. Several experiments indicate that the method described is competitive with the variational approach.

研究の動機と目的

• O(n³)の計算量による大規模データセットにおける標準的なガウス過程分類の計算不能性に対処すること。
• 分散コンピューティングと確率的最適化技術を用いて、ガウス過程分類器のスケーラブルなトレーニングを可能にすること。
• 単変量数値積分を必要とせず、誘導点とハイパーパrameterの共同最適化を可能にする手法の開発。
• 変分推論の代替手段として計算可能でスケーラブルであり、初期段階での収束が速い手法を提供すること。
• MNIST や米国航空の遅延データセットを含む、数百万件のインスタンスを含むデータセットにおいて、競争力のある性能を示すこと。

提案手法

• ガウス過程分類における不確実な事後分布を近似するために期待値伝搬（EP）を用いる。
• n ≪ m の誘導点を用いたスパース近似により、計算コストを O(nm²) に削減する。
• データインスタンスごとの和として表現される marginal likelihood の推定を導出することで、確率的勾配最適化を可能にする。
• データを計算ノードに分割し、それぞれがインスタンスのサブセットを処理することで、分散学習を可能にする。
• marginal likelihood の推定値に対する確率的勾配上昇法を用いて、事後分布近似とモデルハイパーパrameterの共同最適化を実行する。
• ハイパーパラメータの更新に Adadelta 最適化法を用い、ρ=0.9 および ε=10⁻⁵ を設定し、ミニバッチサイズを誘導点数（m=200）に等しくする。

実験結果

リサーチクエスチョン

• RQ1 期待値伝搬は、大規模データセットにおけるガウス過程分類器のスケーラブルなトレーニングを可能にするように適応可能か？
• RQ2 提案手法は分散学習とハイパーパラメータの確率的最適化をサポートするか？
• RQ3 予測精度とトレーニング速度の観点から、提案手法は変分推論と一般化FITC（GFITC）と比較してどのように性能を発揮するか？
• RQ4 EPに基づく事後分布近似は、勾配ベースの変分推論よりも優れた初期収束を達成するか？
• RQ5 バッチ手法が非現実的となるような、数百万件のインスタンスを含むデータセットを処理できるか？

主な発見

• 提案されたSEP手法は、MNIST や米国航空の遅延データセットを含む大規模データセットにおいて、最新の変分推論（SVI）と同等の予測性能を達成する。
• GFITC が計算不能になる大規模データセットでは、SEP が GFITC を上回る性能を発揮する。
• SEP と SVI の確率的バージョンは高速に収束し、バッチ手法が1回のハイパーパラメータ更新を完了する前でさえ、SEP は良好な性能を発揮する。
• SEP は SVI よりも初期段階での性能が優れており、これは EP アップデートによるより正確な事後分布近似が原因であると考えられる。
• 210万件のインスタンスを含む航空遅延データセットでは、SEP と SVI の両方が線形ロジスティック回帰を上回り、問題の非線形性を裏付ける。
• SEP の計算コストは、小さなミニバッチを使用する場合 O(m³) であり、メモリ要件は O(nm) であるため、大規模応用に適している。