[論文レビュー] A Unifying Framework for Gaussian Process Pseudo-Point Approximations using Power Expectation Propagation

Thang D. Bui, Josiah Yan+1 more|arXiv (Cornell University)|May 23, 2016

Gaussian Processes and Bayesian Inference参考文献 38被引用数 48

ひとこと要約

本稿では、パワー期待値伝搬（Power EP）を用いたガウス過程の擬似点近似の統一的枠組みを提案する。この手法は、生成モデルを変更するのではなく、スパースGP推論を近似推論問題として再定式化する。本手法は既存のアプローチを統合し、パワーEPのパrameter αを用いた柔軟な最適化を可能にするとともに、回帰および分類において、データセット全体にわたり、より高い精度とロバスト性を達成する。

ABSTRACT

Gaussian processes (GPs) are flexible distributions over functions that enable high-level assumptions about unknown functions to be encoded in a parsimonious, flexible and general way. Although elegant, the application of GPs is limited by computational and analytical intractabilities that arise when data are sufficiently numerous or when employing non-Gaussian models. Consequently, a wealth of GP approximation schemes have been developed over the last 15 years to address these key limitations. Many of these schemes employ a small set of pseudo data points to summarise the actual data. In this paper, we develop a new pseudo-point approximation framework using Power Expectation Propagation (Power EP) that unifies a large number of these pseudo-point approximations. Unlike much of the previous venerable work in this area, the new framework is built on standard methods for approximate inference (variational free-energy, EP and Power EP methods) rather than employing approximations to the probabilistic generative model itself. In this way, all of approximation is performed at `inference time' rather than at `modelling time' resolving awkward philosophical and empirical questions that trouble previous approaches. Crucially, we demonstrate that the new framework includes new pseudo-point approximation methods that outperform current approaches on regression and classification tasks.

研究の動機と目的

• 生成モデルに対する任意の修正を避ける、スパースガウス過程近似の統一的で推論に基づくフレームワークの開発を目的とする。
• すべての近似をモデリング時ではなく推論時に行うことで、従来の擬似点手法に見られる哲学的および実証的不一致を解消することを目的とする。
• 変分ベイズ（VFE、α→0）、標準EP（α=1）、およびスネルソンの手法など、広範な既存のスパースGP手法を、一貫したパワーEP定式化の下に統合することを目的とする。
• 本フレームワークが、現在の最先端手法を上回る新たな近似スキームを可能にすることを、実世界の回帰および分類タスクで示すこと。

提案手法

• フレームワークは、パワー期待値伝搬（Power EP）を用いて、GPモデルにおける潜在関数の事後分布を近似する。この際、擬似点を変分パラメータとして扱う。
• 変分ベイズ（VFE、α→0）と標準EP（α=1）の間を滑らかに補間する連続的補間パrameter αを導入し、推論戦略の滑らかな遷移を可能にする。
• 計算コストをO(N³)からO(NM²)に削減するため、M個の擬似入力とその対応する擬似出力を用いて、完全なGP事前分布を近似する。
• 各訓練データ点がM個の擬似点を含む要因で近似される因子グラフ表現における反復的メッセージパッシングにより、近似推論を実行する。
• 適切な尤度関数（ガウス分布およびベルヌーイ分布）を用いることで、回帰および分類の両方をサポートし、両設定で同一の推論メカニズムを適用する。
• パワーEPフレームワーク内での変分自由エネルギー目的関数を用いて、擬似点およびハイパーパrameterの最適化を同時に実行する。

実験結果

リサーチクエスチョン

• RQ1 広範な既存のスパースGP近似手法を統合できる、単一の統一的フレームワークを開発できるか？
• RQ2 パワーEPパrameter αは、GP推論における精度と計算効率のトレードオフにどのように影響するか？
• RQ3 提案された推論時近似フレームワークは、従来のモデリング時近似手法に比べ、予測性能において優れているか？
• RQ4 擬似点の位置はαに応じてどのように変化するか？また、データ構造および意思決定境界とどのような関係にあるか？
• RQ5 極限状態において、標準EPやVFEといった既知の手法を再現できるか？また、それらを越えた一般化が可能か？

主な発見

• 提案されたパワーEPベースのフレームワークは、VFE、EP、スネルソンの手法を含む広範なスパースGP近似を、一貫した推論フレームワークに統合した。
• フレームワークは、回帰および分類ベンチマークにおいて、より低いテスト対数尤度および分類誤差を達成する、既存手法を上回る新たな近似スキームを可能にした。
• α=1かつM=Nの場合、本手法はGP分類における標準EPを回復し、既存の手法と整合性を確認した。
• 擬似点の位置はαに応じて動的に変化する：低α（VFEに類似）では意思決定境界付近に集中し、高α（EPに類似）ではデータ領域全体に広がる。視覚化結果から明確に観察された。
• 実世界のデータセットにおいて、本手法は最先端の性能を達成し、特にM=100～200の擬似点を用いた場合、負の対数尤度と誤差率の大幅な改善を示した。
• 複数のデータセットおよびタスクにわたり、本フレームワークは一貫した改善を示し、回帰および分類両設定において20回のランダムなデータ分割において、VFEおよびEPを常に上回るロバスト性を示した。