[論文レビュー] Spatio-Temporal Variational Gaussian Processes

Oliver Hamelijnck, William J. Wilkinson+3 more|Warwick Research Archive Portal (University of Warwick)|Nov 2, 2021

Gaussian Processes and Bayesian Inference参考文献 49被引用数 4

ひとこと要約

本稿では、分離可能カーネル下で標準の変分GPと正確に等価でありながら、空間的・時系列的フィルタリングおよびスムージングと自然勾配変分推論を組み合わせることで、大規模な空間時系列モデリングにスケーラブルな手法であるSpatio-Temporal Variational Gaussian Processes (ST-VGP) を提案する。時間ステップ数に対して線形時間計算量を達成し、並列フィルタリングにより時間的スパンの計算量を対数的複雑度に抑える。これにより、多数の誘導点を用いた高精度な推論が可能となり、予測性能が向上する。

ABSTRACT

We introduce a scalable approach to Gaussian process inference that combines spatio-temporal filtering with natural gradient variational inference, resulting in a non-conjugate GP method for multivariate data that scales linearly with respect to time. Our natural gradient approach enables application of parallel filtering and smoothing, further reducing the temporal span complexity to be logarithmic in the number of time steps. We derive a sparse approximation that constructs a state-space model over a reduced set of spatial inducing points, and show that for separable Markov kernels the full and sparse cases exactly recover the standard variational GP, whilst exhibiting favourable computational properties. To further improve the spatial scaling we propose a mean-field assumption of independence between spatial locations which, when coupled with sparsity and parallelisation, leads to an efficient and accurate method for large spatio-temporal problems.

研究の動機と目的

• 空間時系列設定における標準的ガウス過程の立方体的計算量スケーリングを緩和すること。
• 大規模な空間時系列データにおける多次元的・非共役尤度のスケーラブルな推論を可能にすること。
• 時間ステップ数に対して線形時間計算量を達成しつつ、標準の変分GPの精度を維持すること。
• 平均場近似とスパarsityを用いることで空間的スケーラビリティを向上させること。
• 自然勾配を用いた空間時系列フィルタリングが、最先端の変分GPと同等の効率的かつ高精度な推論を可能にすることを示すこと。

提案手法

• 時間ステップ数に対して線形時間計算量を達成するために、逐次的フィルタリングおよびスムージングを用いた自然勾配変分推論を採用する。
• 空間的誘導点の削減された集合上に状態空間モデルを構築することで、スパース近似を導出する。
• 並列フィルタリングおよびスムージングを用いることで、時間的スパンの複雑度を時間ステップ数の対数的複雑度に低減する。
• 空間的位置同士の独立性を仮定する平均場仮定を適用することで、さらなる空間的スケーラビリティを向上させる。
• 特に分離可能なマルコフカーネルに対して、スパarsityおよび並列化に対応した効率的計算を可能にするために、モデルを再定式化する。
• 自然勾配を用いた変分下界を最適化することで、近似事後分布を求める。これにより、分離可能カーネル下で標準のSVGPと正確に等価であることが保証される。

実験結果

リサーチクエスチョン

• RQ1 自然勾配変分推論を空間時系列フィルタリングと効果的に組み合わせることで、時間次元において線形時間計算量を達成できるか？
• RQ2 提案手法が分離可能なマルコフカーネル下で、標準の変分GPと正確に等価でありながらスケーラビリティを向上させられるか？
• RQ3 並列フィルタリングおよびスムージングにより、大規模な空間時系列モデルにおける時間的スパンの複雑度を立方体的から対数的へ低減できるか？
• RQ4 空間的位置間の平均場近似が、予測精度および計算効率に与える影響は何か？
• RQ5 標準的手法よりもはるかに多くの誘導点を用いることで、本手法が大規模データセットにスケーリング可能であり、予測性能が向上するか？

主な発見

• ST-VGPは時間ステップ数に対して線形時間計算量を達成し、計算コストを立方体的から線形的スケーリングに低減する。
• 並列フィルタリングおよびスムージングにより、時間的スパンの複雑度を対数的複雑度に低減し、長時間系列データにおける効率的推論を可能にする。
• 分離可能なマルコフカーネル下では、完全版およびスパース版のST-VGPモデルが、標準の変分GPを正確に再現する。これにより、既存手法との一貫性が保証される。
• 空間的位置間の平均場近似に加え、スパarsityと並列化を組み合わせることで、精度を損なわず空間的スケーラビリティが顕著に向上する。
• 合成データでは、最大のデータセット（データセット5）においてST-VGPはテストRMSE 0.45 ± 0.11を達成し、SVGPおよびMF-ST-VGPよりも優れた性能を示し、誤差と不安定性が低い。
• 木の数え上げや大気質といった実世界のデータセットにおいて、ST-VGPは高分解能のビンニングを用いたテスト負の対数予測尤度（NLPD）を低く抑え、より高い予測精度を示している。