[論文レビュー] Bayesian Modeling with Gaussian Processes using the GPstuff Toolbox

Jarno Vanhatalo, Jaakko Riihimäki+4 more|arXiv (Cornell University)|Jun 25, 2012

Gaussian Processes and Bayesian Inference参考文献 115被引用数 35

ひとこと要約

この論文では、ベイジアンガウス過程モデリングのための無料でオープンソースのMATLABおよびOctave用ツールボックス、GPstuffを提示する。Laplace近似、期待誤差法（EP）、MCMC、スパース近似を含む高度な推論手法を提供する。明示的な事前分布を用いた柔軟で階層的なモデリングが可能であり、ガウス分布、スチューデントt分布、ポアソン分布、ベルヌーイ分布、生存モデルなど多様な尤度関数に対応。コンactなサポートを持つ共分散関数と変分スパース法により、計算の効率化を実現する。

ABSTRACT

Gaussian processes (GP) are powerful tools for probabilistic modeling purposes. They can be used to define prior distributions over latent functions in hierarchical Bayesian models. The prior over functions is defined implicitly by the mean and covariance function, which determine the smoothness and variability of the function. The inference can then be conducted directly in the function space by evaluating or approximating the posterior process. Despite their attractive theoretical properties GPs provide practical challenges in their implementation. GPstuff is a versatile collection of computational tools for GP models compatible with Linux and Windows MATLAB and Octave. It includes, among others, various inference methods, sparse approximations and tools for model assessment. In this work, we review these tools and demonstrate the use of GPstuff in several models.

研究の動機と目的

• 多様な尤度関数と推論手法をサポートする包括的かつ拡張可能なベイジアンガウス過程モデリング用ツールボックスを提供すること。
• 階層的事前分布、周辺化、モデル評価のための即時サポートを提供することで、GP実装における実用的課題に取り組むこと。
• スパース近似とコンパクトにサポートを持つ共分散関数を用いることで、計算の効率性とスケーラビリティを向上させること。
• ハイパーパramータに明示的で情報豊富な事前分布を設定できるようにすることで、非情報的または一様な事前分布の落とし穴を回避し、原則に則ったベイジアン推論を促進すること。
• 導関数の観測、単調性制約、入力依存ノイズ、マルチラテントモデルなどの高度なモデリング機能を一般用途のGPツールボックスに効果的に統合すること。

提案手法

• 潜在関数が平均および共分散関数によって定義されるガウス過程事前分布である階層ベイジアンフレームワークを採用する。
• 複数の推論手法を用いる：非ガウス尤度に対してはLaplace近似、より良い事後分布近似のために期待誤差法（EP）、完全な事後分布サンプリングのためにMCMCを採用する。
• 計算コストを削減するためのスパース近似（FIC、PIC、変分推論、DTC、SOR）を適用する。
• グリッド統合、モンテカルロ法、中心合成設計を用いてハイパーパramータの周辺化を実装し、モデルのロバストネスを向上させる。
• 加法的・乗法的・入力依存の共分散関数を用いることで柔軟なモデリングを可能とし、非ガウス観測モデル（例：スチューデントt分布、ポアソン分布、負の二項分布）をサポートする。
• DIC、WAIC、交差検証、周辺尤度を用いたモデル評価ツールを提供し、組み込みの可視化および診断関数を備える。

実験結果

リサーチクエスチョン

• RQ1 多様な尤度関数と推論手法をサポートする統合的かつ拡張可能なツールボックスを、どのように設計できるか？
• RQ2 GPハイパーパramータ推定において、一様分布や非情報的事前分布よりも明示的で情報豊富な事前分布を使用する実用的利点は何か？
• RQ3 Laplace法、EP、MCMC、スパース近似といった異なる推論手法は、実世界のGPモデルにおいて、精度、速度、スケーラビリティの観点でどのように比較できるか？
• RQ4 コンパクトにサポートを持つ共分散関数とスパース近似は、予測性能を損なわずに計算の効率性をどの程度向上できるか？
• RQ5 導関数の観測、単調性制約、入力依存ノイズといった複雑なモデリング拡張機能を、一般用途のGPツールボックスに効果的に統合する方法は何か？

主な発見

• GPstuffは、回帰、分類、カウントデータ、生存モデル、マルチラテント系を含む多様なモデルにおいて、堅牢なベイジアン推論を可能にする。
• 明示的で情報豊富な事前分布は、特に長さスケールと大きさパラメータが同定不能な高次元または悪条件な問題（例：非同定な長さスケールと大きさパラメータ）において、パラメータの同定性と事後分布の集中度を著しく向上させる。
• FIC、PIC、変分推論などのスパース近似により、計算複雑度がO(n³)からO(nm²)に低下（m ≪ n）し、大規模データセットにおけるスケーラブルなGP推論が可能になる。
• Laplace法とEP法は、非ガウス尤度に対して精度高く効率的な事後分布近似を提供するが、特に重い尾を持つ分布や離散データに対してはEPが予測精度でLaplace法を上回る。
• WAICやDICといったモデル評価ツールは、複数のベンチマーク問題における実証的検証を経て、モデルの比較や最適なハイパーパramータの選択に有効である。
• 入力依存ノイズ、ハドルモデル、導関数の観測といった高度な機能をサポートしており、複雑な現実世界のモデリングタスクにおける柔軟性を示している。