[論文レビュー] General linear-time inference for Gaussian Processes on one dimension.

Jackson Loper, David M. Blei+2 more|arXiv (Cornell University)|Mar 11, 2020

Gaussian Processes and Bayesian Inference参考文献 50被引用数 7

ひとこと要約

本論文は、1次元データにおけるガウス過程の正確な線形時間推論を可能にする定常カーネル族「潜在的指数生成（LEG）」を導入する。安定な状態空間表現を活用することで、任意の精度でスケーラブルなガウス過程推論が実現され、数十億点のデータセットに対しても対応可能である—時系列および空間データにおける計算効率の飛躍的向上を示している。

ABSTRACT

Gaussian Processes (GPs) provide a powerful probabilistic framework for interpolation, forecasting, and smoothing, but have been hampered by computational scaling issues. Here we prove that for data sampled on one dimension (e.g., a time series sampled at arbitrarily-spaced intervals), approximate GP inference at any desired level of accuracy requires computational effort that scales linearly with the number of observations; this new theorem enables inference on much larger datasets than was previously feasible. To achieve this improved scaling we propose a new family of stationary covariance kernels: the Latent Exponentially Generated (LEG) family, which admits a convenient stable state-space representation that allows linear-time inference. We prove that any continuous integrable stationary kernel can be approximated arbitrarily well by some member of the LEG family. The proof draws connections to Spectral Mixture Kernels, providing new insight about the flexibility of this popular family of kernels. We propose parallelized algorithms for performing inference and learning in the LEG model, test the algorithm on real and synthetic data, and demonstrate scaling to datasets with billions of samples.

研究の動機と目的

• 大規模1次元データセットにおけるガウス過程推論の計算ボトル neck を解決すること。
• 正確な線形時間推論を可能にしつつ高い近似精度を維持するカーネル族を開発すること。
• 任意の連続的かつ可積分な定常カーネルが、LEG族のメンバーによって任意に良く近似可能であることを証明すること。
• 効率的な推論と学習のための安定な状態空間表現を提供すること。
• ガウス過程推論を数十億の観測値を含むデータセットにまでスケーリングし、従来の二次時間計算量の制限を打ち破ること。

提案手法

• 本論文は、1次元データを想定した定常カーネル族「潜在的指数生成（LEG）」を導入する。
• LEGカーネルは、効率的な推論を可能にする安定で低次元の状態空間表現を有する。
• この方法により、任意の連続的かつ可積分な定常カーネルが、LEG族のメンバーによって任意に良く近似可能であることを証明する。
• スペクトル混合カーネルとの理論的関係を明らかにし、それらの柔軟性と近似能力に関する新たな知見を提供する。
• LEGモデルにおける推論およびハイパーパramータ学習のための並列化アルゴリズムを提案する。
• 実データおよび合成データセットを用いた実証により、数十億個のデータポイントまで線形時間スケーリングが達成されたことを示した。

実験結果

リサーチクエスチョン

• RQ1 1次元データにおけるガウス過程推論を、任意の精度を保ちながら線形時間で行うことは可能か？
• RQ2 どのカーネル族が安定な状態空間表現を備え、線形時間推論を可能にするか？
• RQ3 LEGカーネル族は、任意の連続的かつ可積分な定常カーネルをどの程度良く近似できるか？
• RQ4 LEG族とスペクトル混合カーネルとの理論的関係は何か？
• RQ5 提案手法は、実際の観測数が数十億に達するデータセットにもスケーリング可能か？

主な発見

• LEGカーネル族により、1次元データにおけるガウス過程の正確な線形時間推論が可能となり、計算量はO(n)にまで低減される。
• 適切なLEGカーネルの選択により、任意の連続的かつ可積分な定常カーネルに対して任意の精度で近似が達成される。
• 理論的分析により、LEG族が定常カーネルの近似において普遍的であることが確認され、スペクトル混合カーネルの柔軟性に関する新たな知見が得られた。
• 実験的評価により、最大数十億サンプルのデータセットに対しても成功した推論が達成され、実用的なスケーラビリティが示された。
• 安定な状態空間表現により、カルマンフィルタリングおよびスムージングを用いた効率的かつ数値的に安定した推論が可能になった。
• 学習および推論のための並列化アルゴリズムにより、大規模な時系列および空間データセットへの適用が可能になった。