[論文レビュー] Infinite-Horizon Gaussian Processes

Arno Solin, James Hensman+1 more|arXiv (Cornell University)|Nov 15, 2018

Gaussian Processes and Bayesian Inference被引用数 10

ひとこと要約

本稿では、長時間系列における定常状態事後分布を活用することで、計算複雑性を O(m³n) から O(m²n) に低減する、状態空間ガウス過程の新規近似手法である無限時限ガウス過程（IHGP）を提案する。この手法により、リアルタイムでの推論とオンラインハイパーパrameter学習が可能となり、最大200万点のストリーミングデータや、1秒間に100回の周波数で動作するスマートフォン上でも実現された。

ABSTRACT

Gaussian processes provide a flexible framework for forecasting, removing noise, and interpreting long temporal datasets. State space modelling (Kalman filtering) enables these non-parametric models to be deployed on long datasets by reducing the complexity to linear in the number of data points. The complexity is still cubic in the state dimension $m$ which is an impediment to practical application. In certain special cases (Gaussian likelihood, regular spacing) the GP posterior will reach a steady posterior state when the data are very long. We leverage this and formulate an inference scheme for GPs with general likelihoods, where inference is based on single-sweep EP (assumed density filtering). The infinite-horizon model tackles the cubic cost in the state dimensionality and reduces the cost in the state dimension $m$ to $\mathcal{O}(m^2)$ per data point. The model is extended to online-learning of hyperparameters. We show examples for large finite-length modelling problems, and present how the method runs in real-time on a smartphone on a continuous data stream updated at 100~Hz.

研究の動機と目的

• 状態空間GPモデルの実用的利用を制限する状態次元mにおける立方コストを解消すること。
• 非ガウス尤度を伴う長時間系列またはストリーミングデータに対して、効率的な推論とオンラインハイパーパrameter学習を可能にすること。
• スマートフォンなどの組み込みデバイスに適したスケーラブルでリアルタイムなGPフレームワークを構築すること。
• 大規模かつ非 stationarity（非定常）な時系列モデリングにおいて、計算コストを大幅に削減しながらも高い精度を維持すること。

提案手法

• 長時間系列において事後分布が定常状態に達することを仮定した、無限時限GP（IHGP）の近似を提案する。
• 一般尤度に対しては、単一スイープの期待値伝搬（EP）を、仮定密度フィルタリング（ADF）を用いて実装する。
• GP事後分布の定常状態における周辺分散を活用し、完全な状態遷移の再計算を回避する。
• マルコフトレースを無視し、定常状態分布から再初期化することで、計算複雑性を O(m³n) から O(m²n) に低減する。
• 周辺尤度に対するインクリメンタル勾配更新を用いて、ハイパーパrameterのオンライン学習を可能にする。
• C++/Objective-Cで実装し、スマートフォンを含むモバイルデバイスへのリアルタイムデプロイを実現する。

実験結果

リサーチクエスチョン

• RQ1 長時間系列におけるGPの定常状態事後分布を活用することで、計算コストを低減できるか？
• RQ2 非ガウス尤度やストリーミングデータに対応した状態空間GP推論を、どのように効率化できるか？
• RQ3 IHGPは O(m³n) から O(m²n) に複雑性を低減しながらも、精度を維持できるか？
• RQ4 IHGPはリソース制限のあるデバイス（例：スマートフォン）におけるリアルタイムで適応可能なモデリングに適しているか？
• RQ5 オンラインハイパーパrameter学習を、IHGPフレームワークに効果的に統合できるか？

主な発見

• IHGPは O(m²n) の複雑性を達成し、標準的な状態空間GP推論の O(m³n) のコストを顕著に低減した。
• ベンチマークデータセットにおいて、完全なGPおよび状態空間ADFとほぼ同一の結果を生成し、初期期間にわずかな端効果が見られる以外は差異は最小限であった。
• スマートフォン上でも100 Hzの周波数でリアルタイム推論が可能であり、ハイパーパrameterの更新は0.1秒ごとに行われた。
• 200万点のデータセットでは、BFGS最適化を用いて624秒で全推論を完了した。
• ローリングウィンドウのオンライン設定において、IHGPは非定常行動（例：空き家となった世帯における周期成分の減衰）を効果的に捉えた。
• 航空事故データや電力消費データの例から、長期的トレンドと高周波数周期性を含む複雑なマルチスケール時系列構造を効果的にモデル化できた。