[論文レビュー] Automated Augmented Conjugate Inference for Non-conjugate Gaussian Process Models

Théo Galy-Fajou, Florian Wenzel+1 more|arXiv (Cornell University)|Feb 26, 2020

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、非共役ガウス過程モデルにおける効率的なベイズ推論のための新規手法である自動拡張共役推論（aaci）を紹介する。aaciは、元のモデルを条件付き共役に変換する補助変数の自動構築により、閉形式のブロック座標更新と漸近的に正確なギブスサンプラーを可能にする。この手法は、最先端のブラックボックス手法と比較して最大2桁の高速化を達成しながらも、競争力のある予測性能を維持する。

ABSTRACT

We propose automated augmented conjugate inference, a new inference method for non-conjugate Gaussian processes (GP) models. Our method automatically constructs an auxiliary variable augmentation that renders the GP model conditionally conjugate. Building on the conjugate structure of the augmented model, we develop two inference methods. First, a fast and scalable stochastic variational inference method that uses efficient block coordinate ascent updates, which are computed in closed form. Second, an asymptotically correct Gibbs sampler that is useful for small datasets. Our experiments show that our method are up two orders of magnitude faster and more robust than existing state-of-the-art black-box methods.

研究の動機と目的

• 大規模データセットにスケーリング可能な、非共役ガウス過程モデルのための効率的で自動化された推論フレームワークの開発。
• サンプリングや数値台形則に依存するブラックボックス推論手法の限界を克服し、計算コストの高い手法を回避すること。
• 各モデルごとの手動導出を必要とせず、広範なスーパー・ガウス型尤度に適用可能な統一的な手法の提供。
• 一度の自動化されたフレームワークにより、高速な変分推論と高品質な後方分布サンプリングの両方を達成すること。
• 従来のMCMCおよび変分法と比較して、サンプル効率性と収束安定性の向上。

提案手法

• 元の非共役GPモデルを条件付き共役に変換する補助変数の自動構築。
• 条件付き共役性を活用し、すべての完全条件付き分布を閉形式で計算。
• 閉形式解を有する効率的なブロック座標上昇更新を用いたスケーラブルな確率的変分推論の実装。
• 小規模データセット向けに、漸近的に正確な後方分布サンプルを提供する正確なギブスサンプラーの提供。
• インダクティングポイントと確率的勾配降下法を用いて、変分推論を大規模データセットにスケーリング。
• ホワイトニング変換とカーネル行列の前処理を適用し、MCMCの混合性と収束性を向上。

実験結果

リサーチクエスチョン

• RQ1 自動化された手法は、広範な非共役GPモデルのクラスに対して、条件付き共役な拡張を構築できるか？
• RQ2 自動共役推論は、最先端のブラックボックス変分推論およびMCMC手法と比較して、速度と安定性においてどのように差をつけるか？
• RQ3 拡張ギャップ（拡張モデルと元のモデルのELBOの差）が予測性能に及ぼす影響はどの程度か？
• RQ4 拡張モデルに基づくギブスサンプラーは、ハミルトニアンモンテカルロよりも高い有効サンプルサイズを達成できるか、かつ速いか？
• RQ5 本手法は、数百万データポイントを含む大規模データセットにどの程度スケーリングできるか？

主な発見

• aaciの変分推論モジュールは、最先端のブラックボックス手法と比較して最大2桁の高速化を達成しながらも、競争力のある予測性能を維持している。
• aaciの最適化プロセスは、基準手法で見られる振動的挙動とは異なり、負のELBOが滑らかに減少する安定性を示している。
• ギブスサンプラーは、特にスチューデントt分布やラプラス分布などの重たい尾を持つ尤度において、ハミルトニアンモンテカルロと比較して顕著に高い有効サンプルサイズを達成している。
• 拡張モデルと元のモデルの間でELBOの値に顕著なギャップがあるにもかかわらず、保留テストセットにおける予測性能はわずかに変わらない。
• 本手法は大規模データセットに効率的にスケーリングでき、SUSYデータセット（500万点）では、競合手法よりも著しく高速な学習時間を達成している。
• ギブスサンプラーの内部相関は非常に低く、高いサンプル効率性を示しており、チェーン間相関はほぼ最適に近い水準にあり、収束の信頼性が確認されている。