[論文レビュー] Practical Hilbert space approximate Bayesian Gaussian processes for probabilistic programming

Gabriel Riutort‐Mayol, Paul‐Christian Bürkner+3 more|arXiv (Cornell University)|Apr 23, 2020

Gaussian Processes and Bayesian Inference参考文献 47被引用数 26

ひとこと要約

本稿では、ラプラス固有関数を用いたヒルベルト空間に基づく低ランク近似を提案し、確率的プログラミングにおける完全ベイズ型ガウス過程の効率的かつ高精度な推論を可能にする。この手法は、基底関数および境界要因の適応的選択による基底展開を用いることで、計算量を線形に抑える。診断手法とStanにおける実装を通じて、強固な経験的性能が裏付けられている。

ABSTRACT

Gaussian processes are powerful non-parametric probabilistic models for stochastic functions. However, the direct implementation entails a complexity that is computationally intractable when the number of observations is large, especially when estimated with fully Bayesian methods such as Markov chain Monte Carlo. In this paper, we focus on a low-rank approximate Bayesian Gaussian processes, based on a basis function approximation via Laplace eigenfunctions for stationary covariance functions. The main contribution of this paper is a detailed analysis of the performance, and practical recommendations for how to select the number of basis functions and the boundary factor. Intuitive visualizations and recommendations, make it easier for users to improve approximation accuracy and computational performance. We also propose diagnostics for checking that the number of basis functions and the boundary factor are adequate given the data. The approach is simple and exhibits an attractive computational complexity due to its linear structure, and it is easy to implement in probabilistic programming frameworks. Several illustrative examples of the performance and applicability of the method in the probabilistic programming language Stan are presented together with the underlying Stan model code.

研究の動機と目的

• 確率的プログラミングフレームワークに適したスケーラブルで完全ベイズ型のガウス過程手法の開発。
• 大規模データセットにおける標準的なGP推論のO(n³)計算ボトルネックの解消。
• 基底関数の数および境界要因の選択に関する実用的でデータ駆動の推奨事項の提供。
• 与えられたデータに対して近似が十分に正確であるかを検証するための診断の導入。
• Stanにおける線形計算量・非中心化パrameterizationにより、正確かつ効率的な推論を実現。

提案手法

• 定常カーネルに対してラプラス固有関数を用いて共分散関数を近似し、低ランク基底展開を構築。
• i.i.d. 標準正規係数を有するコサインおよびサイン基底関数の線形結合としてGPを表現。
• MCMCの混合性能および事後分布サンプリングの効率を向上させるために非中心化パrameterizationを採用。
• 事後分布における長さスケール推定値に基づき、反復的診断を用いて基底関数の数および境界要因を適応的に選択。
• スペクトル分解を用いて最適な境界要因および最小基底数の解析的表現を適用。
• 確率的プログラミング言語Stanに実装し、オープンソースのモデルコードを提供。

実験結果

リサーチクエスチョン

• RQ1 ヒルベルト空間に基づく低ランク近似を用いたガウス過程の、完全ベイズ推論における実用的かつ効率的な実装はどのように達成できるか？
• RQ2 近似における基底関数の数および境界要因の選択に効果的な、データ駆動の戦略は何か？
• RQ3 与えられたデータに対して近似が十分に正確であるかを検証するための診断はどのように構築できるか？
• RQ4 計算量をO(nm²)（m ≪ n）に低減させつつ、近似の正確性をどの程度維持できるか？
• RQ5 本手法は、実際の確率的プログラミングワークフロー、特にStanにおいて、どの程度の性能を示すか？

主な発見

• J個の基底関数を用いることで、計算量が線形のO(n(2J+1) + (2J+1)²)に抑えられ、スケーラブルな推論が可能となった。
• 事後分布における長さスケール推定値（例：∣ℓ̂ − ℓ∣ ≤ 0.01）に基づく診断チェックは、近似が適切であるかを信頼性高く示した。
• 真の長さスケールℓGP = 0.08の場合、反復的手順は3回の反復で収束し、最終的な診断で適切性が確認された。
• より大きな長さスケールℓGP = 1.4の場合、最初の反復で診断が適切性を確認したため、より速やかに収束した。
• RMSE、R²、ELPDの各指標が反復にわたって安定したことで、近似が十分な精度に達していることが確認された。
• 非中心化パrameterizationにより、効率的なMCMCサンプリングが実現され、Stanのような確率的プログラミングフレームワークへの統合に適していた。