[論文レビュー] Efficiently Sampling Functions from Gaussian Process Posteriors

James T. Wilson, Viacheslav Borovitskiy+3 more|arXiv (Cornell University)|Feb 21, 2020

Gaussian Processes and Bayesian Inference参考文献 49被引用数 12

ひとこと要約

本稿では、事前分布とデータに依存する項を分離することで、テスト点の数に対して線形計算量で後方分布サンプリングが可能な、ガウス過程の新規因子分解を提案する。この分解をスパース近似と組み合わせることで、計算コストの大幅な削減を実現し、GPベースのモデルにおけるマルコフ連鎖モンテカルロ推論のスケーラビリティを顕著に向上させる。

ABSTRACT

Gaussian processes are the gold standard for many real-world modeling problems, especially in cases where a model's success hinges upon its ability to faithfully represent predictive uncertainty. These problems typically exist as parts of larger frameworks, wherein quantities of interest are ultimately defined by integrating over posterior distributions. These quantities are frequently intractable, motivating the use of Monte Carlo methods. Despite substantial progress in scaling up Gaussian processes to large training sets, methods for accurately generating draws from their posterior distributions still scale cubically in the number of test locations. We identify a decomposition of Gaussian processes that naturally lends itself to scalable sampling by separating out the prior from the data. Building off of this factorization, we propose an easy-to-use and general-purpose approach for fast posterior sampling, which seamlessly pairs with sparse approximations to afford scalability both during training and at test time. In a series of experiments designed to test competing sampling schemes' statistical properties and practical ramifications, we demonstrate how decoupled sample paths accurately represent Gaussian process posteriors at a fraction of the usual cost.

研究の動機と目的

• テスト点の数に比例して立方時間で増加するガウス過程後方分布からのサンプリングの高コストを緩和すること。
• ランタイムを著しく削減しながら統計的精度を維持する汎用的なサンプリング手法を開発すること。
• 事前分布とデータに依存する成分を分離することで、大規模なGP応用における効率的なマルコフ連鎖モンテカルロ推論を可能にすること。
• トレーニングおよび推論の両フェーズで、既存のスパースGP近似とシームレスに統合され、エンドツーエンドのスケーラビリティを実現すること。

提案手法

• 本手法は、GP後方分布をデータに依存しない事前分布成分と、データに依存する補正項に因子分解する。
• この分解により、事前分布を一度サンプリングし、観測データに応じて低ランク更新を用いて効率的に補正できる。
• 構造的カーネル近似とスパースGP技術を活用することで、計算複雑性を低減しながらも精度を維持する。
• 補正項は、後方共分散の低ランク因子分解を介して計算され、スパarsityに応じてO(n²)またはそれ以下のスケーリングが可能である。
• サンプリングパイプラインはモジュラーであり、既存のGPフレームワークと互換性があり、プラグアンドプレイ統合を可能にする。
• 本手法はフルGPおよびスパースGP設定の両方をサポートしており、推論時のテスト点のスケーリングを確保しつつ、後方分布の忠実度を損なわない。

実験結果

リサーチクエスチョン

• RQ1 GP後方分布の事前分布とデータに依存する成分を分離することで、より高速なサンプリングが可能になるか？
• RQ2 提案された因子分解は、計算コストを削減しながらも、真の後方分布の統計的性質を保持するか？
• RQ3 高価な行列逆行列計算に依存せずに、大規模なテストセットに対しても効率的にスケーリング可能か？
• RQ4 実用的な推論タスクにおいて、提案手法の精度と速度は標準的手法と比べてどのように異なるか？
• RQ5 スパースGP近似とシームレスに組み合わせられ、エンドツーエンドのスケーラビリティを達成できるか？

主な発見

• 提案手法により、後方分布サンプリングの計算コストが、スパarsityに応じてO(n³)からO(n²)またはそれ以下に削減された。
• 分離手法を用いて生成されたサンプルパスは、統計的検定により真のGP後方分布を正確に再現していることが確認された。
• 大規模なテストセットにおいて、標準的手法と比較して、最大で桁違いの高速化が達成された。
• 低ランク近似を用いても、本手法は高い後方分布忠実度を維持しており、ベースライン手法よりも速度と精度の両面で優れている。
• スパースGPフレームワークとスムーズに統合可能であり、実世界の応用におけるスケーラブルなトレーニングと推論を実現した。