[論文レビュー] When Gaussian Process Meets Big Data: A Review of Scalable GPs

Haitao Liu, Yew-Soon Ong+2 more|arXiv (Cornell University)|Jul 3, 2018

Gaussian Processes and Bayesian Inference参考文献 248被引用数 98

ひとこと要約

大規模回帰のためのスケーラブルなガウス過程法の包括的な調査で、グローバル近似とローカル近似を分類し、精度と効率のトレードオフを検討する。

ABSTRACT

The vast quantity of information brought by big data as well as the evolving computer hardware encourages success stories in the machine learning community. In the meanwhile, it poses challenges for the Gaussian process (GP) regression, a well-known non-parametric and interpretable Bayesian model, which suffers from cubic complexity to data size. To improve the scalability while retaining desirable prediction quality, a variety of scalable GPs have been presented. But they have not yet been comprehensively reviewed and analyzed in order to be well understood by both academia and industry. The review of scalable GPs in the GP community is timely and important due to the explosion of data size. To this end, this paper is devoted to the review on state-of-the-art scalable GPs involving two main categories: global approximations which distillate the entire data and local approximations which divide the data for subspace learning. Particularly, for global approximations, we mainly focus on sparse approximations comprising prior approximations which modify the prior but perform exact inference, posterior approximations which retain exact prior but perform approximate inference, and structured sparse approximations which exploit specific structures in kernel matrix; for local approximations, we highlight the mixture/product of experts that conducts model averaging from multiple local experts to boost predictions. To present a complete review, recent advances for improving the scalability and capability of scalable GPs are reviewed. Finally, the extensions and open issues regarding the implementation of scalable GPs in various scenarios are reviewed and discussed to inspire novel ideas for future research avenues.

研究の動機と目的

• Gaussian Process回帰をビッグデータに適用する際の三次計算複雑さの課題を評価する。
• スケーラブルなGPをグローバル近似とローカル近似に分類し、それらの精度とスケーラビリティのトレードオフを分析する。
• 主要なグローバルアプローチ（データの部分集合、疎カーネル、誘導点を用いた疎近似）とローカルアプローチ（専門家の混合/積）をレビューする。
• スケーラビリティとモデル能力の向上に関する最近の進展をまとめ、拡張と未解決の課題について論じる。

提案手法

• スケーラブルなGPをグローバル近似とローカル近似に分類する。
• グローバルアプローチの詳細：データの部分集合、疎カーネル、誘導点とNyström法を用いた疎近似。
• スケーラブル推論のための変分自由エネルギー（VFE）や確率的変分GP（SVGP）などの事後近近似を説明する。
• 能力向上のためのドメイン間、階層的、およびグローバル-ローカルのハイブリッド戦略を説明する。
• ミリオン・バイリオン規模のデータに拡張するための確率的最適化と誘導点最適化について論じる。

実験結果

リサーチクエスチョン

• RQ1 大規模回帰における主要なスケーラブルGPのパラダイムは何か？
• RQ2 グローバル近似とローカル近近は、スケーラビリティと予測能力の観点でどう比較されるか？
• RQ3 変分法、誘導点、確率的最適化など、非常に大規模なデータセットをGPで扱うことを可能にする進歩は何か？
• RQ4 実務におけるスケーラブルGPの未解決課題と今後の方向性は何か？

主な発見

• グローバル近似は、カーネル行矩のサイズや構造を縮小することにより、グローバルなパターンをできる限り保持しつつ、実質的なスケーラビリティを実現する。
• ローカル近似は局所的パターンと非定常性を捉えるが、グローバル構造を見逃す可能性があり、ハイブリッドの動機となる。
• 変分アプローチ（VFE, SVGP）は原理的でスケーラブルな推論を提供し、十分な誘導点があれば完全なGPを回復できる。
• 確率的最適化と誘導点法により、データサイズが百万から十億規模までの訓練が可能になる。
• 構造化された誘導集合とドメイン間戦略は、スケーラビリティとモデル能力を向上させるが、不確実性推定のトレードオフが継続している。