[論文レビュー] Deep Structured Mixtures of Gaussian Processes

Martin Trapp, Robert Peharz+2 more|TU/e Research Portal|Oct 10, 2019

Gaussian Processes and Bayesian Inference参考文献 29被引用数 12

ひとこと要約

この論文では、和積ネットワーク（SPN）とガウス過程（GP）エキスパートを組み合わせることで、正確で効率的な事後分布推論を可能にする、新たな確率過程モデルである深層構造混合ガウス過程（DSMGPs）を提案する。SPNに類似した階層的混合構造によってGPを構造化することで、DSMGPsは計算コストが低く、ハイパーパrameter最適化がスケーラブルであり、従来のエキスパートベースのGP近似手法と比較して優れた不確実性評価を実現する。予測精度と不確実性のキャリブレーションの両面で、従来のGPと変分近似手法を凌駆する。

ABSTRACT

Gaussian Processes (GPs) are powerful non-parametric Bayesian regression models that allow exact posterior inference, but exhibit high computational and memory costs. In order to improve scalability of GPs, approximate posterior inference is frequently employed, where a prominent class of approximation techniques is based on local GP experts. However, local-expert techniques proposed so far are either not well-principled, come with limited approximation guarantees, or lead to intractable models. In this paper, we introduce deep structured mixtures of GP experts, a stochastic process model which i) allows exact posterior inference, ii) has attractive computational and memory costs, and iii) when used as GP approximation, captures predictive uncertainties consistently better than previous expert-based approximations. In a variety of experiments, we show that deep structured mixtures have a low approximation error and often perform competitive or outperform prior work.

研究の動機と目的

• 大規模な回帰タスクにおける完全なガウス過程（GP）の高い計算コストとメモリ消費を軽減すること。
• 既存の局所エキスパートGP近似手法の限界を克服すること。これらは正確な推論を欠く、不確実性のキャリブレーションが悪い、あるいは非可解な推論を要する。
• 正確な事後分布推論を可能にしつつ、計算コストとメモリコストを低く保てる、原理的でスケーラブルなGP近似を開発すること。
• 和積ネットワーク（SPN）にインspiredされた階層的混合構造を活用して、GPモデルにおける不確実性評価を向上させること。
• 構造化された計算と共有Cholesky分解を用いて、効率的なハイパーパrameter最適化と非ステーションナリティモデリングを可能にすること。

提案手法

• 葉ノードがガウス過程（GP）である階層的SPN構造を用いる。各GPは入力空間の異なる領域における局所エキスパートを表す。
• 測度論的拡張を用いてSPNを定式化し、連続ドメイン上の確率過程として表現可能にする。
• 条件付き独立性と局所的計算を活用することで、完全なGP逆行列計算を回避し、SPN推論アルゴリズムを用いて正確に事後分布推論を実行する。
• 指数的多数のナイーブ・ローカルエキスパート（NLE）構成を自動的に平均化するベイジアンモデル平均化を可能にし、GPの混合を暗黙的にエンコードする。
• GPの葉ノード間でCholesky分解を共有することで計算を高速化し、特に複数のエキスパートが入力パーティションを共有する場合に有効である。
• SPNの階層的ルーティング機構により、局所的にGPハイパーパrameterを適応させることで、非ステーションナリティモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 階層的混合GPエキスパート構造は、計算効率を維持しながら正確な事後分布推論を可能にするか？
• RQ2 構造化されたGP混合モデルの不確実性キャリブレーションは、既存の局所エキスパートおよび変分GP近似手法と比較してどの程度優れているか？
• RQ3 共有Cholesky分解は、GP混合モデルにおける計算コストをどの程度低減できるか？
• RQ4 モデルの構造は、局所的ハイパーパramータ適応を可能にし、非ステーションナリティ時系列モデリングを実現できるか？
• RQ5 エキスパート数とそのパーティション分割の影響は、予測性能と不確実性推定にどの程度及ぶか？

主な発見

• DSMGPsは、平均絶対誤差（MAE）と負の対数予測密度（NLPD）の両面で、他のエキスパートベースのGP近似手法を常に上回り、優れた予測精度と不確実性キャリブレーションを示した。
• タンパク質およびyearデータセットでは、DSMGPsが完全なGPよりも低いNLPDを達成しており、近似手法であるにもかかわらず、より優れた不確実性評価を示した。
• DSMGPsにおける混合成分の有効な数は極めて大きく、年間データセットでは4.3 × 10^18に達するが、SPN構造による暗黙的エンコードのおかげで明示的な列挙なしに実現可能である。
• ハイパーパrameter最適化においても、最先端の変分GP手法と同等の実行時間を達成し、分散処理を活用することでさらなる高速化が可能である。
• 共有Cholesky分解により、合成実験で計算速度が2倍に向上し、入力パーティションの探索範囲を2倍に拡大可能となった。
• 和ノードの子供数（K_S）を増やすことで、エキスパートの能力（M）が低い場合の性能を補い、ハイパーパramータ選択に対して頑健であることが示された。