[論文レビュー] Nested Expectation Propagation for Gaussian Process Classification with a Multinomial Probit Likelihood

Jaakko Riihimäki, Pasi Jylänki+1 more|arXiv (Cornell University)|Jul 16, 2012

Gaussian Processes and Bayesian Inference参考文献 30被引用数 32

ひとこと要約

本稿では、数値積分を用いず、クラス間の潜在変数の依存関係を正確にモデル化できる、ガウス過程多項プロビット分類のための新しいネストド期待伝播（EP）手法を提案する。この手法はクラス数に対して線形スケーリングを達成し、MCMC法と比較して予測の一貫性が優れている。分類精度の差は各手法間で小さく、Laplace法、変分ベイズ法、MCMC法を上回っている。

ABSTRACT

We consider probabilistic multinomial probit classification using Gaussian process (GP) priors. The challenges with the multiclass GP classification are the integration over the non-Gaussian posterior distribution, and the increase of the number of unknown latent variables as the number of target classes grows. Expectation propagation (EP) has proven to be a very accurate method for approximate inference but the existing EP approaches for the multinomial probit GP classification rely on numerical quadratures or independence assumptions between the latent values from different classes to facilitate the computations. In this paper, we propose a novel nested EP approach which does not require numerical quadratures, and approximates accurately all between-class posterior dependencies of the latent values, but still scales linearly in the number of classes. The predictive accuracy of the nested EP approach is compared to Laplace, variational Bayes, and Markov chain Monte Carlo (MCMC) approximations with various benchmark data sets. In the experiments nested EP was the most consistent method with respect to MCMC sampling, but the differences between the compared methods were small if only the classification accuracy is concerned.

研究の動機と目的

• 非ガウス型の尤度関数とクラス数の増加に伴い高次元化する潜在変数のための、事後分布推論の困難さに取り組む。
• 既存のEP手法が数値積分に依存するか、クラス固有の潜在変数間に独立性の仮定を置くという限界を克服する。
• 潜在変数のクラス間における完全な事後分布の依存関係を保持しながら、計算効率を維持するスケーラブルな推論手法を開発する。
• クラス数に対して線形スケーリングを達成し、多数のクラスを含む問題への実用的適用を保証する。
• 予測不確実性の定量化において、Laplace法、変分ベイズ法、MCMC近似法よりもより正確で一貫性のある代替手法を提供する。

提案手法

• 各尤度項のサイト近似を段階的に改善する階層的構造を用いた、ネストドEPフレームワークを導入し、近似的な推論を実行する。
• 多次元正規分布のねじれモーメントに対する解析的近似を用い、先行するEP手法で必要とされる高コストな数値積分を回避する。
• クラス間の潜在変数間の完全な事後分散共分散構造を維持し、クラス間の依存関係を保全する。
• キャビティパラメータとサイト更新を用いて、事後分散と共分散のランク1更新を実装し、数値的安定性と収束性を確保する。
• 収束性の向上のため、サイト更新に減衰を適用し、ステップサイズを制御するための減衰係数 δ ∈ (0,1] を用いる。
• ブロック対角構造およびスパース行列構造を活用し、事後平均と共分散の解析的表現を用いて、テスト点における予測分布を導出する。

実験結果

リサーチクエスチョン

• RQ1 数値積分に依存せずに、多項プロビットGP分類における潜在変数のクラス間依存関係をネストドEPで正確にモデル化できるか？
• RQ2 提案手法はクラス数に対して線形スケーリングを達成しながらも、高い予測精度を維持できるか？
• RQ3 ベンチマークデータセット上で、ネストドEPの予測的一貫性はLaplace法、変分ベイズ法、MCMC法と比較してどうなるか？
• RQ4 完全な事後分布の依存関係を保持することで、分類性能と不確実性定量化にどのような影響を与えるか？
• RQ5 高次元の潜在空間において、MCMCの代替としてスケーラブルであり、混合性が良くかつ収束が速い手法を提供できるか？

主な発見

• ネストドEPは、ベンチマークデータセット全体でMCMCサンプリングと最も高い一貫性を示し、優れた不確実性定量化を示している。
• 高い精度を達成しているが、ネストドEP、Laplace法、変分ベイズ法、MCMC間の分類精度の差は小さく、予測性能が同等であることが示された。
• 本手法はクラス数に対して線形にスケーリングされ、多数のクラスを含む問題に対しても効率的な推論が可能である。
• 数値積分を回避し、完全な事後分布の依存関係を保持することで、独立性仮定や近似を置く既存のEP変種を改善した。
• コレスキー分解とランク1更新を用いて、マージナル尤度の近似と勾配計算を効率的に実行し、O((c+1)n³)の計算量を維持した。
• アルゴリズムの暗黙的微分が自然に相殺されるため、マージナル尤度式の最初の2項の明示的微分のみで、信頼性の高いハイパーパramータ最適化が可能になった。