[論文レビュー] Kernel Interpolation for Scalable Online Gaussian Processes

Samuel Stanton, Wesley J. Maddox+2 more|arXiv (Cornell University)|Mar 2, 2021

Gaussian Processes and Bayesian Inference参考文献 35被引用数 4

ひとこと要約

本稿では、構造的カーネル補間とウッドベリー恒等式を用いて、$Ó(1)$の定時間オンライン更新を実現するWISKI（Woodbury Inversion with SKI）を提案する。これにより、各更新の計算コストが$Ó(1)$で、正確な推論が可能となる。この手法は、変分法に匹敵する最先端の速度を達成しながらも、補正された不確実性と正確な事後分布推論を維持しており、為替レート予測、ベイズ最適化、マラリア予測のためのアクティブラーニングといったオンライン回帰タスクで検証されている。

ABSTRACT

Gaussian processes (GPs) provide a gold standard for performance in online settings, such as sample-efficient control and black box optimization, where we need to update a posterior distribution as we acquire data in a sequential fashion. However, updating a GP posterior to accommodate even a single new observation after having observed $n$ points incurs at least $O(n)$ computations in the exact setting. We show how to use structured kernel interpolation to efficiently recycle computations for constant-time $O(1)$ online updates with respect to the number of points $n$, while retaining exact inference. We demonstrate the promise of our approach in a range of online regression and classification settings, Bayesian optimization, and active sampling to reduce error in malaria incidence forecasting. Code is available at https://github.com/wjmaddox/online_gp.

研究の動機と目的

• 正確なオンラインガウス過程更新の高い計算コスト（$n$個のデータポイントに対して$Ó(n^3)$）を軽減すること。
• スパースな変分法に共通する近似誤差を回避し、オンライン環境でも正確な推論を可能にすること。
• $n$に関して$Ó(1)$の更新複雑度を達成しつつ、高速なテスト時予測と補正された不確実性を維持すること。
• 不確実性の補正が重要な、ベイズ最適化やアクティブサンプリングといった応用分野におけるリアルタイム意思決定を支援すること。
• 低ランク近似や変分推論に依存する従来のオンラインGP手法に代わる、スケーラブルで正確かつ効率的な代替手法を提供すること。

提案手法

• 固定された誘導点を用いてカーネル行列を近似する構造的カーネル補間（SKI）を活用し、効率的なカーネル評価を実現する。
• ウッドベリー恒等式を適用して、各新しい観測値の後で予測分布とマージナル尤度を効率的に更新し、再計算を回避する。
• 中間計算（例：誘導点上のカーネル行列の逆行列）をキャッシュして、オンライン更新の間で再利用する。
• 更新のたびに同じ誘導点構造を再利用することで、新しい点1つあたりの計算コストが$n$に関して常に$Ó(1)$のまま保たれる。
• 変分近似を避けることで正確な推論を維持し、補正された不確実性推定を保つ。
• ベイズ最適化では、オンライン更新をWISKIで行うバッチ化された上側信頼区間（UCB）獲得関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 $n$に関して$Ó(1)$のオンライン更新を実現しつつ、正確な推論と補正された不確実性を維持できるか？
• RQ2 オンライン回帰タスクにおいて、WISKIは変分法および正確なGP手法と比較して、速度、精度、不確実性補正の観点でどのように差をつけるか？
• RQ3 WISKIは、高速で正確な更新とグローバル分散低減を実現し、アクティブラーニングおよびベイズ最適化を効果的に支援できるか？
• RQ4 O-SVGPのようなストリーミング変分GP手法で見られる過学習や一般化性能の低下をWISKIは回避できるか？
• RQ5 WISKIは、最小限の計算オーバーヘッドで大規模なオンラインデータセットにスケーリング可能であり、予測性能を維持できるか？

主な発見

• WISKIは$n$に関して$Ó(1)$の更新複雑度を達成し、変分法と同等の速度を実現しながらも正確な推論を維持している。
• 為替レートデータにおけるオンライン回帰では、WISKIはO-SVGPおよびO-SGPRを上回り、高周波数のトレンドを学習し、初期データへの過学習を回避している。
• UCIのパワープラントデータセットでは、WISKIは正確なGPと同等の性能を示し、O-SVGPはノイズを過大評価し、最適でない解に収束している。
• Ackley関数およびLevy関数におけるベイズ最適化では、WISKIは正確なGPおよびO-SVGPよりも著しく高速でありながら、同等または優れた最適化性能を達成している。
• マラリア発生率予測のアクティブラーニングでは、WISKIは500イテレーションにわたりRMSEを継続的に低下させるが、O-SVGPは約250イテレーションでクエリポイントの局所的クラスタリングのため停滞する。
• アクティブラーニングにおいてWISKIは、多様でグローバルに代表的なクエリポイントを選択し、O-SVGPが密集領域にポイントを集中させるのとは対照的に、より効果的にグローバル分散を低減している。