[論文レビュー] Streaming Sparse Gaussian Process Approximations

Thang D. Bui, Cuong V. Nguyen+1 more|arXiv (Cornell University)|May 19, 2017

Gaussian Processes and Bayesian Inference参考文献 15被引用数 24

ひとこと要約

本論文は、ハイパーパramータのオンライン学習と擬似入力位置の最適化を可能にする、スパースガウス過程近似の原理的でストリーミング可能なフレームワークを提案する。変分推論と期待値化プロセス（EP）をストリーミング設定に拡張することで、インクリメンタルな更新を用いて、正確でスケーラブルな推論を実現し、逐次データへの適応性と速度の両面でバッチ手法を上回る性能を発揮する。

ABSTRACT

Sparse pseudo-point approximations for Gaussian process (GP) models provide a suite of methods that support deployment of GPs in the large data regime and enable analytic intractabilities to be sidestepped. However, the field lacks a principled method to handle streaming data in which both the posterior distribution over function values and the hyperparameter estimates are updated in an online fashion. The small number of existing approaches either use suboptimal hand-crafted heuristics for hyperparameter learning, or suffer from catastrophic forgetting or slow updating when new data arrive. This paper develops a new principled framework for deploying Gaussian process probabilistic models in the streaming setting, providing methods for learning hyperparameters and optimising pseudo-input locations. The proposed framework is assessed using synthetic and real-world datasets.

研究の動機と目的

• ストリーミングデータ環境におけるガウス過程モデルの原理的でオンラインな手法の不足を解消すること。
• ハイパーパramータ学習に最適でないヒューリスティクスに依存する既存手法の限界や、深刻な忘却（catastrophic forgetting）を回避すること。
• 新しいデータが到着するたびに、事後分布とモデルハイパーパramータの両方を段階的に更新できること。
• 先行するオンラインGP手法（例：Csatóと Opper のVFEおよびEP手法）を一般化・改善する統一フレームワークを提供すること。
• インクリメンタルな更新により、過去の全データを活用し、再訓練のオーバーヘッドを最小限に抑えることで、効率的でスケーラブルな推論を実現すること。

提案手法

• オンラインGP近似のための、変分自由エネルギー（VFE）に基づくストリーミング変分推論フレームワークを構築する。
• 近似推論を可能にするために、Power-EPをフレームワークに統合し、頑健で柔軟な事後分布推定を実現する。
• 自然勾配更新を用いた原理的なオンラインハイパーパramータ学習手法を開発し、手作業で設計されたヒューリスティクスを回避する。
• 新しいデータに適応しながらモデルの正確性を維持するため、確率的最適化スキームを用いて擬似入力位置を段階的に最適化する。
• 大規模データセットへのスケーリングを実現するため、ミニバッチ処理を用い、計算効率を維持するインクリメンタル更新を実装する。
• 再訓練コストを削減し、深刻な忘却を回避するために、事前近似事後分布を現在のモデルに統合する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータ学習と擬似入力最適化の両方をサポートする、オンラインガウス過程推論のための原理的フレームワークを開発可能か？
• RQ2 本手法は、ストリーミングデータにおいて、バッチ推論と比較して予測精度と計算効率の両面でどのように性能を癹揮するか？
• RQ3 新しいデータが逐次的に到着する際、深刻な忘却をどの程度回避できるか？
• RQ4 本手法はデータ到着順序に対してどれほど感受的か？また、異なるデータストリームパターンにおいても安定した性能を維持できるか？
• RQ5 本フレームワークは、VFEやEPといった既存のオンラインGP手法を特別なケースとして一般化でき、それらの性能を向上させられるか？

主な発見

• 十分な数の擬似点が使用された場合、提案されたストリーミングフレームワークは、フルバッチGP回帰と同等の予測性能を達成する。
• ハイパーパラメータ学習は時間経過とともに真値に収束し、長さスケールが小さいタスクでは正確な推定を得るためにはより多くの擬似点が必要となる。
• 異なるデータ順序に対しても安定した性能を維持し、十分なデータ量に達した後は分類誤差がバッチレベルにまで低下（例：0.095）する。
• 時系列および空間データセットにおいて、高いマージナル対数尤度と低いRMSEを達成し、バッチサイズおよび擬似点数の増加に伴い性能が良好にスケーリングされる。
• ヒューリスティクスによるハイパーパラメータ更新を回避し、インクリメンタルな事後分布更新により忘却を低減することで、既存のストリーミング手法を凌駆する。
• 合成データおよび実世界のデータ（音声データや地形データを含む）を用いた実験により、本手法のロバスト性とスケーラビリティが、非i.i.d.およびi.i.d.の両方のストリーミング環境で裏付けられる。