[論文レビュー] A Unifying Framework for Sparse Gaussian Process Approximation using Power Expectation Propagation.

Thang D. Bui, Josiah Yan+1 more|arXiv (Cornell University)|May 23, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用数 20

ひとこと要約

この論文は、パワー期待値伝搬（Power EP）を用いたスパースガウス過程近似の統一的フレームワークを提案する。このフレームワークは、既存の擬似点手法を一貫した推論ベースのアプローチに再定式化する。すべての近似をモデリング時ではなく推論時に行うことで、従来の手法を凌駕する、より正確な新しい手法を可能にし、回帰、分類、および状態空間モデリングのタスクで優れた性能を発揮する。

ABSTRACT

Gaussian processes (GPs) are flexible distributions over functions that enable high-level assumptions about unknown functions to be encoded in a parsimonious, flexible and general way. Although elegant, the application of GPs is limited by computational and analytical intractabilities that arise when data are sufficiently numerous or when employing non-Gaussian models. Consequently, a wealth of GP approximation schemes have been developed over the last 15 years to address these key limitations. Many of these schemes employ a small set of pseudo data points to summarise the actual data. In this paper we develop a new pseudo-point approximation framework using Power Expectation Propagation (Power EP) that unifies a large number of these pseudo-point approximations. Unlike much of the previous venerable work in this area, the new framework is built on standard methods for approximate inference (variational free-energy, EP and power EP methods) rather than employing approximations to the probabilistic generative model itself. In this way all of approximation is performed at `inference time' rather than at `modelling time' resolving awkward philosophical and empirical questions that trouble previous approaches. Crucially, we demonstrate that the new framework includes new pseudo-point approximation methods that outperform current approaches on regression, classification and state space modelling tasks.

研究の動機と目的

• 大規模データセットや非ガウス型尤度を取り扱うガウス過程における計算的・解析的非可解性を解決すること。
• 広範な既存の擬似点近似手法を、一つの推論ベースのフレームワークに統一すること。
• 近似をモデリング時から推論時へ移行させることで、従来の手法に内在する哲学的・実証的問題を解消すること。
• 標準ベンチマークタスクにおいて優れた性能を達成する、新しい擬似点近似手法を開発すること。

提案手法

• フレームワークは、スパースガウス過程のためのコア推論エンジンとしてパワー期待値伝搬（Power EP）を採用する。
• 全データセットを要約するための擬似データポイントの集合を用い、生成モデルを変更せずにスケーラブルな推論を可能にする。
• すべての近似を推論時に行い、モデル構築時に施されるモデル固有の仮定や近似を回避する。
• 標準的な変分自由エネルギーとEPの原則を活用することで、確立された推論技術と整合性を保つ。
• Power EPにおけるパワー・パラメータの調整により、新しい近似スキームを体系的に導出可能である。
• 回帰、分類、および状態空間モデルへの柔軟な適用を、統一された確率的推論パイプラインを通じて実現する。

実験結果

リサーチクエスチョン

• RQ1 多様なスパースガウス過程近似手法を統合できる、単一の統一的フレームワークを開発できるか？
• RQ2 近似をモデリング時から推論時に移行させることで、GP近似の精度と整合性にどのような影響を与えるか？
• RQ3 提案されたパワーEPベースのフレームワークは、既存の手法を凌駕する新しい近似手法を生成できるか？
• RQ4 このフレームワークは、回帰、分類、および状態空間モデリングタスクにおいて、どの程度性能を向上させるか？

主な発見

• 提案されたフレームワークは、広範な既存のスパースGP近似手法を、一つの推論ベースの定式化に統一することに成功した。
• すべての近似を推論時へ延期することで、従来のモデリング時近似に内在する整合性の欠如や哲学的問題を回避した。
• フレームワークにより、標準ベンチマークタスクにおける回帰、分類、および状態空間モデリングで最先端の性能を達成する、新しい擬似点近似手法の導出が可能となった。
• 評価されたすべてのタスクにおいて、既存のスパースGP手法と比較して、パワーEPベースのアプローチがより高い精度とロバスト性を示した。