[論文レビュー] Large-scale Heteroscedastic Regression via Gaussian Process

Haitao Liu, Yew-Soon Ong+1 more|arXiv (Cornell University)|Nov 3, 2018

Gaussian Processes and Bayesian Inference参考文献 75被引用数 7

ひとこと要約

本稿では、VSHGP、SVSHGP、DVSHGPという変種を導入することで、大規模な不均一分散ガウス過程回帰におけるスケーラブルな推論手法を提案する。これらの手法は、スパース、確率的、分散型の変分推論を効率的に行える。大規模データセット上でも最先端の性能を達成するとともに、入力に依存するノイズの非パラメトリックなモデリングにより、不確実性の定量化を維持する。

ABSTRACT

Heteroscedastic regression considering the varying noises among observations has many applications in the fields like machine learning and statistics. Here we focus on the heteroscedastic Gaussian process (HGP) regression which integrates the latent function and the noise function together in a unified non-parametric Bayesian framework. Though showing remarkable performance, HGP suffers from the cubic time complexity, which strictly limits its application to big data. To improve the scalability, we first develop a variational sparse inference algorithm, named VSHGP, to handle large-scale datasets. Furthermore, two variants are developed to improve the scalability and capability of VSHGP. The first is stochastic VSHGP (SVSHGP) which derives a factorized evidence lower bound, thus enhancing efficient stochastic variational inference. The second is distributed VSHGP (DVSHGP) which (i) follows the Bayesian committee machine formalism to distribute computations over multiple local VSHGP experts with many inducing points; and (ii) adopts hybrid parameters for experts to guard against over-fitting and capture local variety. The superiority of DVSHGP and SVSHGP as compared to existing scalable heteroscedastic/homoscedastic GPs is then extensively verified on various datasets.

研究の動機と目的

• 大規模データ環境下での利用を制限する、不均一分散ガウス過程（HGP）回帰の立方時間計算量の問題を解決すること。
• 計算コストを低減しつつ、入力に依存するノイズの不確実性モデリングを保持する、変分スパース推論フレームワーク（VSHGP）の開発。
• ミニバッチ最適化に適した要因分解された下界を用いることで、スケーラブルな確率的変分推論（SVSHGP）を強化すること。
• 複数の局所的エキスパートとハイブリッドパラメータを用いることで、分散計算を可能にするDVSHGPの開発。これにより一般化性能が向上し、局所的なデータ変動を捉えることができる。
• 多様な実世界のデータセット上で、従来の均一分散および不均一分散GP手法と比較して、優れた性能とスケーラビリティを示すこと。

提案手法

• 潜在関数 $ f $ およびノイズ関数 $ g $ の両方に対して誘導点を用いる変分スパース推論アルゴリズムVSHGPを提案。これにより、$ O(n^3) $ の計算量が $ O(m^3 + u^3) $ に低減され、ここで $ m $ および $ u $ は誘導点の数である。
• 対数モデル尤度の要因分解された下界を導出することで、SVSHGPを導入。これにより、データのミニバッチ上で効率的な確率的最適化が可能になる。
• ベイジアンコミiteィン機械の形式的枠組みに基づき、$ M $ 個の局所的VSHGPエキスパートに計算を分散させるDVSHGPを設計。各エキスパートは $ m_0 $ および $ u_0 $ 個の誘導点を持つ。
• DVSHGPではハイブリッドパラメータを用い、局所的およびグローバルな情報を統合することで、過学習を低減し、局所的なデータ特性のモデリングを向上させる。
• 自然勾配最適化を用いて、事後分布 $ q(m{f}_m) $ および $ q(m{g}_u) $ を更新。フィッシャー情報量を活用することで収束が速くなる。
• ベクトル化演算を用いて、カーネルハイパーパramータおよび誘導点の位置の閉形式勾配を導出。高次元パラメータ空間でも計算効率が向上する。

実験結果

リサーチクエスチョン

• RQ1 変分スパース推論が、大規模データセットにおけるスケーラブルな推論を達成するために、不均一分散GP回帰に効果的に拡張可能か？
• RQ2 要因分解された下界を用いた確率的変分推論は、大規模HGPにおける学習効率および収束速度を向上させるか？
• RQ3 複数の局所的エキスパートを用いた分散学習は、HGPにおいて、集中型推論を上回るスケーラビリティおよび予測性能を達成できるか？
• RQ4 分散エキスパートにおけるハイブリッドパラメータの使用は、HGPモデルの一般化性能および過学習に対するロバストネスを向上させるか？
• RQ5 提案手法VSHGP、SVSHGP、DVSHGPは、不均一分散および均一分散回帰タスクにおいて、従来のスケーラブルなGP手法をどの程度上回るか？

主な発見

• SVSHGPは、要因分解された下界を用いたミニバッチ確率的最適化を活用することで、標準的なVSHGPと比較して収束が速く、学習時間が短くなる。
• DVSHGPは、複数のエキスパートに計算を分散させることで、大規模データセット上でのスケーラビリティと予測精度に優れ、不確実性の定量化を維持する。
• DVSHGPにおけるハイブリッドパラメータの使用は、非 stationarity または不均一なデータ環境下で、過学習を低減し、局所的なデータ変動のモデリングを向上させる。
• 実験的結果から、DVSHGPおよびSVSHGPは、多様なデータセットにおける均一分散および不均一分散回帰ベンチマークで、従来のスケーラブルなGP手法を上回ることが示された。
• 提案手法は、計算コストを大幅に削減しながらも、高い予測精度を維持しており、数万点にのぼるデータセットへのHGPの適用を可能にする。