[論文レビュー] State Space Gaussian Processes with Non-Gaussian Likelihood

Hannes Nickisch, Arno Solin+1 more|arXiv (Cornell University)|Feb 13, 2018

Gaussian Processes and Bayesian Inference参考文献 24被引用数 14

ひとこと要約

本稿では、状態空間手法を用いて非ガウス型尤度を伴うガウス過程推論のための統一的で効率的なフレームワークを提案する。これにより、O(n)の時間および記憶量計算量が達成される。ラプラス近似、変分ベイズ、期待誤差法を状態空間設定に拡張し、畳み込み補間を用いて行列指数関数の計算を高速化することで、大規模な時系列データセットにおいて顕著な高速化を達成しながら高い精度を維持する。

ABSTRACT

We provide a comprehensive overview and tooling for GP modeling with non-Gaussian likelihoods using state space methods. The state space formulation allows for solving one-dimensional GP models in $\mathcal{O}(n)$ time and memory complexity. While existing literature has focused on the connection between GP regression and state space methods, the computational primitives allowing for inference using general likelihoods in combination with the Laplace approximation (LA), variational Bayes (VB), and assumed density filtering (ADF, a.k.a. single-sweep expectation propagation, EP) schemes has been largely overlooked. We present means of combining the efficient $\mathcal{O}(n)$ state space methodology with existing inference methods. We extend existing methods, and provide unifying code implementing all approaches.

研究の動機と目的

• 非ガウス型尤度を伴うガウス過程モデルにおける計算ボトル neck を解消すること、これは通常、高価な近似を必要とする。
• 状態空間表現を活用することで、大規模な時系列データセットに対するスケーラブルな推論を可能とし、計算量をO(n)に低減すること。
• ラプラス近似、変分ベイズ、期待誤差法、KL最小化といった複数の近似推論手法を、1つの状態空間フレームワーク内で統一的かつ効率的に実装すること。
• 不規則にサンプリングされたデータにおける行列指数関数の評価に起因するO(n)計算量の高い定数要因を克服すること。
• 再現性と実用的導入を支援するため、GPMLツールボックスに参照実装を提供すること。

提案手法

• マルコフ連鎖の共分散関数を用いてガウス過程を連続時間の状態空間モデルとして表現し、正確なカルマンフィルタリングおよびスムージングを可能にする。
• カルマンフィルタおよび動的システム理論を用いて、予測、フィルタリング、スムージングのための計算プリミティブを構築する。
• 標準的な推論手法（ラプラス、VB、ADF/EP、KL）を、状態事後分布に対する再帰的更新として定式化することで、状態空間設定に拡張する。
• 畳み込み補間を導入し、行列指数関数の近似を実現することで、1ステップあたりの計算コストを低減し、推論を加速する。
• カルマンフィルタの再帰的計算を微分可能とすることで、すべての推論手法に対して勾配ベースのハイパーパrameter学習を可能にする。
• すべての推論手法および尤度タイプをサポートする統一されたコードベースを実装し、GPMLツールボックス v4.2 に統合する。

実験結果

リサーチクエスチョン

• RQ1 状態空間手法を非ガウス型尤度を伴うガウス過程モデルに拡張することは可能か？ また、O(n)の計算量を維持できるか？
• RQ2 ラプラス近似、変分ベイズ、期待誤差法といった標準的な近似推論手法を、状態空間フレームワーク内で統一的かつ効率的に実装するにはどうすればよいか？
• RQ3 行列指数関数の計算がO(n)計算量の定数要因に与える影響は何か？ そして、その影響をどのように低減できるか？
• RQ4 行列指数関数の補間に基づく加速手法が、実世界の時系列データにおける推論速度と精度に与える影響は何か？
• RQ5 統一されたフレームワークは、大規模な時系列データセットにおいて、密行列型GP推論と比較して競争力のある予測性能を達成できるか？

主な発見

• 提案された状態空間フレームワークにより、非ガウス型尤度を伴うGPモデルのO(n)推論が実現され、計算効率の面で密行列法を著しく上回った。
• 畳み込み補間の使用により、行列指数関数の計算時間は2倍に短縮され、O(n)計算量における高い定数要因の問題が解決された。
• 35,959件の観測値を含む航空機事故データセットにおいて、ADF推論を用いて予測RMSEが0.98±0.02、NLPDが1.47±0.01を達成した。
• モデルは事故発生率の長期的トレンドと季節的周期性を明確に捉えており、時間経過に伴う冬季モードの減衰が明確に可視化された。
• すべての推論手法において勾配ベースのハイパーパrameter最適化を可能とし、エンドツーエンドのスケーラブルな学習が実現された。
• GPMLツールボックス v4.2 に実装された参照実装は、実務家がこれらの手法を実世界の時系列問題に適用できる統一的かつプロダクション用のツールを提供する。