[論文レビュー] Conditioning Sparse Variational Gaussian Processes for Online Decision-making

Wesley J. Maddox, Samuel C. Stanton+1 more|arXiv (Cornell University)|Oct 28, 2021

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、尤度下界（ELBO）を用いて再訓練を伴わずにリアルタイムで新しいデータに効率的に条件づけることのできる、オンライン変分条件付き（OVC）手法を提案する。OVCは、スチュアティック変分ガウス過程（SVGPs）のスケーラビリティを維持しつつ、閉形式の事後分布更新を可能にし、ベイズ最適化、アクティブラーニング、強化学習におけるオンライン意思決定に応用可能な高度な獲得関数の利用を著しく向上させる。

ABSTRACT

With a principled representation of uncertainty and closed form posterior updates, Gaussian processes (GPs) are a natural choice for online decision making. However, Gaussian processes typically require at least $\\mathcal{O}(n^2)$ computations for $n$ training points, limiting their general applicability. Stochastic variational Gaussian processes (SVGPs) can provide scalable inference for a dataset of fixed size, but are difficult to efficiently condition on new data. We propose online variational conditioning (OVC), a procedure for efficiently conditioning SVGPs in an online setting that does not require re-training through the evidence lower bound with the addition of new data. OVC enables the pairing of SVGPs with advanced look-ahead acquisition functions for black-box optimization, even with non-Gaussian likelihoods. We show OVC provides compelling performance in a range of applications including active learning of malaria incidence, and reinforcement learning on MuJoCo simulated robotic control tasks.

研究の動機と目的

• オンライン意思決定設定における新しいデータへのガウス過程の効率的条件づけの課題に取り組む。
• スパムデータに対して、正確なGP（二次コスト）とSVGPs（閉形式の条件づけなし）の制限を克服する。
• ブラックボックス最適化におけるバッチ知識勾配（qKG）のような高度な先行予測獲得関数をSVGPsで使用可能にする。
• ボラティリティモデリングなどの非ガウス型尤度をオンライン学習でサポートする（ガウス・コプシを用いて）。
• 新しいデータ到着時にELBO最適化によるSVGPsの再訓練とは異なり、安定的かつスケーラブルな代替手法を提供する。

提案手法

• ELBOによる変分事後分布の再最適化を伴わずに、新しいデータポイントに対してSVGPsを条件づける新規手順OVCを開発する。
• ストリーミングスパースGP（O-SGPR）の再導出を活用し、SVGPsにおける閉形式の事後分布更新を可能にする。
• 安定した誘導点の初期化を維持し、新しいデータに伴う誘導点および変分パラメータの適応的更新を可能にする。
• 完全な再訓練なしに不確実性推定を維持するため、予測事後分布サンプリングと効率的な共分散更新を用いる。
• オンラインベイズ最適化においてqKGやトーマスサンプリングのような獲得関数とOVCを統合する。
• 潜在変数への条件づけにより非ガウス型尤度をサポートし、ボラティリティモデリングなどの非ガウス型設定での利用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ELBOを用いて再訓練を伴わずに、SVGPsが新しいデータにリアルタイムで条件づけられるか？
• RQ2 OVCは、オンラインベイズ最適化におけるqKGのような高度な先行予測獲得関数の有効な使用を可能にするか？
• RQ3 OVCは、ボラティリティモデリングのような非ガウス型尤度設定でも性能と安定性を維持できるか？
• RQ4 オンライン制御およびアクティブラーニングにおいて、OVCは正確なGPと標準的なSVGPsと比較して、データ効率性および計算コストの点で優れているか？
• RQ5 オンライン設定におけるOVC性能に、誘導点選択および学習目的関数（ELBO対PLL）の影響は何か？

主な発見

• OVCは、ELBO再訓練を不要とし、計算コストを削減する閉形式の更新により、SVGPsが新しいデータに条件づけられるようにする。
• Hartmann-6テスト問題において、OVCを搭載したSVGPsはqKGとノイズレベル0.1で平均最高値3.18（±0.03）を達成し、NEIを上回り、正確なGPの性能と同等であった。
• MuJoCoローバー制御タスクでは、OVCを用いたSVGPsは正確なGPと同等のデータ効率性を達成したが、計算速度は著しく速く、大規模バッチ最適化では正確なモデルの2倍の速度であった。
• SVGPsの学習に予測対数尤度（PLL）を用いることで、ELBOに比べてやや高速に収束し、先行予測ツリー探索（LTS）でもより優れた性能を示した。
• OVCは、特にロールアウトにおいて、学習データの共分散行列の条件数を改善し、異なるツリー深さ（例：深さ4が十分な利点をもたらした）において安定した性能を実現した。
• ピボットドコレスキー初期化を用いたSGPRはOVCと競合する性能を示したが、OVCはオンラインストリーミングデータに対してよりスケーラブルかつ安定したソリューションを提供した。