[論文レビュー] Adaptive Gaussian Predictive Process Approximation

Surya T. Tokdar|arXiv (Cornell University)|Aug 1, 2011

Gaussian Processes and Bayesian Inference参考文献 33被引用数 7

ひとこと要約

本稿では、不完全なコレスキー分解とピボット選択、動的停止を用いて、低ランクガウス過程モデルにおける最適なノット（knot）を自動的に選択する、適応的ガウス予測過程近似を提案する。この手法は、プロセスの標準的計量に基づいて適応することで、ユーザーが定めた許容誤差内に近似の正確性を保証し、複雑な共分散構造を伴うベイズ推論における計算効率と安定性を顕著に向上させる。

ABSTRACT

We address the issue of knots selection for Gaussian predictive process methodology. Predictive process approximation provides an effective solution to the cubic order computational complexity of Gaussian process models. This approximation crucially depends on a set of points, called knots, at which the original process is retained, while the rest is approximated via a deterministic extrapolation. Knots should be few in number to keep the computational complexity low, but provide a good coverage of the process domain to limit approximation error. We present theoretical calculations to show that coverage must be judged by the canonical metric of the Gaussian process. This necessitates having in place a knots selection algorithm that automatically adapts to the changes in the canonical metric affected by changes in the parameter values controlling the Gaussian process covariance function. We present an algorithm toward this by employing an incomplete Cholesky factorization with pivoting and dynamic stopping. Although these concepts already exist in the literature, our contribution lies in unifying them into a fast algorithm and in using computable error bounds to finesse implementation of the predictive process approximation. The resulting adaptive predictive process offers a substantial automatization of Guassian process model fitting, especially for Bayesian applications where thousands of values of the covariance parameters are to be explored.

研究の動機と目的

• 予測過程近似におけるノット選択という、計算効率と近似精度に強く影響を与える重要な課題に取り組むこと。
• ガウス過程共分散関数の幾何的性質の変化に応じてノット配置を自動的に適応させる手法を開発すること。特に、パrameter値の変化に対して有効であることを目的とする。
• ピボット選択と動的停止という既存の数値技術を統合し、予測過程近似に適した高速かつ数値的に安定したアルゴリズムを構築すること。
• 計算可能な誤差境界を提供し、真のプロセスからの近似が所定の許容誤差内に保たれることを保証する。
• 特に共分散パrameter値を数千通りに探索する必要がある場合に、スケーラブルかつ頑健な階層的ガウス過程モデルにおけるベイズ推論を可能にすること。

提案手法

• 本手法は、共分散行列の低ランクコレスキー分解を用いた予測過程の同等表現を利用する。
• ノットの選択を段階的に実行するため、ピボット選択を施した不完全コレスキー分解を適用し、近似誤差低減への寄与度に基づいてノットを選定する。
• オーリッチノルム理論から導かれる計算可能な誤差境界を用いて、必要な正確性に達した段階で処理を停止する動的停止を実装する。
• アルゴリズムは、$ \rho(s,t) = \mathrm{E}[\{\omega(s)-\omega(t)\}^2]^{1/2} $ で定義されるガウス過程の標準的計量に適応することで、プロセスが誘導する位相に基づくドメインの幾何的カバーを確保する。
• 空間を均等に埋める設計や、ノットをモデルパラメータとして学習する手法に依存せず、これらが理論的および計算的に不十分であることが示されている。
• ノット共分散行列が悪条件になる前に停止することで、数値的安定性を維持するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 共分散関数のパrameter値の変化に応じて、予測過程近似におけるノット選択をどのように適応的に可能にすることができるか？
• RQ2 なぜユークリッド距離ではなく、ガウス過程の標準的計量に基づいてノットのカバーを評価する理論的根拠があるのか？
• RQ3 ピボット選択と動的停止を併用した不完全コレスキー分解を、予測過程近似に適した強固で高速なアルゴリズムに統合できるか？
• RQ4 固定設計や追加のモデルパラメータに依存せずに、計算可能な誤差境界を用いて近似の正確性を制御する方法は何か？
• RQ5 高次元パラメータ空間を伴うベイズガウス過程モデルにおいて、この適応的手法が計算効率と安定性をどの程度向上させるか？

主な発見

• ノットカバーの質を決定するのはユークリッド距離ではなく、$ \rho(s,t) = \mathrm{E}[\{\omega(s)-\omega(t)\}^2]^{1/2} $ という標準的計量であり、これは適応的選択の理論的裏付けを提供する。
• 提案された適応的予測過程は、ユーザーが指定した許容誤差内に近似の正確性を達成し、オーリッチノルム理論から導かれる誤差境界により理論的信頼性が保証される。
• 動的停止によりノット共分散行列の悪条件化を防ぎ、推論中の数値的安定性が向上する。
• 必要な正確性に達する最小限のノット数のみを選択することで、近似品質を損なわず計算負荷を顕著に低減する。
• 特にマルコフ連鎖モンテカルロ法を用いたベイズ応用において、数千回に及ぶ共分散パラメータ値の探索を効率的に行うのに非常に適している。
• 実験的結果から、固定設計やデータ駆動型ノット選択手法に比べ、本手法は正確性と計算速度の両面で優れていることが示された。