[論文レビュー] Variational Inference for Gaussian Process Models with Linear Complexity

Ching-An Cheng, Byron Boots|arXiv (Cornell University)|Nov 28, 2017

Gaussian Processes and Bayesian Inference参考文献 12被引用数 21

ひとこと要約

本稿では、再現核ヒルベルト空間における平均関数と共分散関数の表現を分離する変分推論フレームワーク、分離型ガウス過程（DGPs）を提案する。平均関数と共分散関数のための基底関数を分離することで、平均関数パラメータ数に対して線形時間および空間計算量を達成する確率的勾配上昇法が可能となり、従来のスパース変分GP手法と比較して予測精度を顕著に向上させつつ、スケーラビリティを維持する。

ABSTRACT

Large-scale Gaussian process inference has long faced practical challenges due to time and space complexity that is superlinear in dataset size. While sparse variational Gaussian process models are capable of learning from large-scale data, standard strategies for sparsifying the model can prevent the approximation of complex functions. In this work, we propose a novel variational Gaussian process model that decouples the representation of mean and covariance functions in reproducing kernel Hilbert space. We show that this new parametrization generalizes previous models. Furthermore, it yields a variational inference problem that can be solved by stochastic gradient ascent with time and space complexity that is only linear in the number of mean function parameters, regardless of the choice of kernels, likelihoods, and inducing points. This strategy makes the adoption of large-scale expressive Gaussian process models possible. We run several experiments on regression tasks and show that this decoupled approach greatly outperforms previous sparse variational Gaussian process inference procedures.

研究の動機と目的

• 大規模データセットにおける標準的ガウス過程推論の超線形時間および空間計算量を解決すること。
• 誘導点集合が小さいために表現力に制限を受けるスパース変分GPモデルの限界を克服すること。
• 平均関数と共分散関数の表現を分離するスケーラブルな変分推論フレームワークを開発すること。
• 線形計算量の最適化を用いて、大規模で複雑なデータセットに対する高精度なGP回帰を実現すること。
• 平均関数の基底関数数の増加が、計算効率を損なわずに予測性能を向上させることを実証すること。

提案手法

• ガウス過程における平均関数と共分散関数に使用する基底関数を分離する新しいパrametrizationを提案する。
• この分離表現を用いて変分推論問題を定式化し、誘導点を変分パラメータとして扱う。
• 時間計算量 O(DNmα + Nmβ² + mβ³) および空間計算量 O(Nmα + mβ²) を達成する確率的勾配上昇法（svdgp）を導出する。ここで、mα と mβ はそれぞれ平均関数および共分散関数の基底関数の数を表す。
• カーネル、尤度関数、誘導点の選択にかかわらず、mα に関して線形計算量を保証し、表現力の向上に寄与する大規模な mα を可能にする。
• 完全に微分可能なフレームワークを用いることで、確率的勾配によるエンドツーエンド最適化を可能にする。
• ガウス過程回帰タスクにこの手法を適用し、ロボット制御やセンサデータを含む実世界のデータセットで評価する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程モデルにおける平均関数と共分散関数の表現を分離することで、線形時間の変分推論が達成可能か？
• RQ2 平均関数の基底関数数を増やすことで、計算コストを増加させずに予測精度が向上するか？
• RQ3 提案手法は、線形計算量を維持しながら、既存のスパース変分GPアルゴリズムを上回る性能を達成できるか？
• RQ4 オンラインおよびバッチ変分GP手法と比較して、分離フレームワークの収束速度と安定性はどのように異なるか？
• RQ5 オンライン学習設定において、ハイパーパramータの初期化や学習率の選択に対して、提案手法はロバストか？

主な発見

• kuka 1 データセットにおいて、svdgp は変分下界（VLB）を 1.262×10⁵ に達成し、svi（0.391×10⁵）、i vsgpr（0.649×10⁵）、vsgpr（0.472×10⁵）を顕著に上回った。
• kuka 1 データセットにおいて、svdgp は正規化平均二乗誤差（nMSE）を 0.037 に達成し、svi（0.169）、i vsgpr（0.128）、vsgpr（0.139）を著しく下回った。
• mujoco 1 データセットにおいて、svdgp は VLB を 6.007×10⁵ に達成し、svi（2.178×10⁵）、i vsgpr（4.543×10⁵）、vsgpr（2.822×10⁵）を大きく上回った。
• svdgp は mujoco 1 において nMSE を 0.072 に達成し、svi（0.163）、i vsgpr（0.099）、vsgpr（0.118）を著しく下回った。
• svi よりも収束が早く、安定性に優れている。svi は初期に速度が低下し、i vsgpr と同程度の収束速度でも性能が劣る。
• mα = 1024 の大規模な平均関数基底関数を用いながら、mβ を小さい値（例：256）に保つことで、時間的および空間的計算量を mα に関して線形に保ちつつ、高精度を実現できる。