[論文レビュー] Distributed Gaussian Processes

Marc Peter Deisenroth, Jun Wei Ng|arXiv (Cornell University)|Feb 10, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用数 139

ひとこと要約

本稿では、データを独立した計算ユニットに分割し、局所的なGPエキスパートを訓練した後、閉形式の積の専門家（PoE）推論を再帰的に用いて予測を統合することで、任意の大規模データセットにスケーリング可能な分散型ガウス過程モデルである、頑健なベイジアンコアリションマシン（rBCM）を提案する。この手法は、大規模な回帰タスクにおいて最先端の性能を達成しており、600万件のフライトデータセットを含む、ラップトップで30分未塔のトレーニング時間、インダクティングポイントや変分パラメータを用いないO(10^7)のデータスケーラビリティを実現している。

ABSTRACT

Copyright © 2015 by the author(s).To scale Gaussian processes (GPs) to large data sets we introduce the robust Bayesian Committee Machine (rBCM), a practical and scalable product-of-experts model for large-scale distributed GP regression. Unlike state-of-the-art sparse GP approximations, the rBCM is conceptually simple and does not rely on inducing or variational parameters. The key idea is to recursively distribute computations to independent computational units and, subsequently, re-combine them to form an overall result. Efficient closed-form inference allows for straightforward parallelisation and distributed computations with a small memory footprint. The rBCM is independent of the computational graph and can be used on heterogeneous computing infrastructures, ranging from laptops to clusters. With sufficient computing resources our distributed GP model can handle arbitrarily large data sets.

研究の動機と目的

• 大規模データセットにおける標準的なガウス過程のO(N³)計算コストとO(N²)メモリボトルネックを解消すること。
• インダクティングポイントや変分パラメータに依存しない、スケーラブルかつ分散型のGPフレームワークを開発すること。
• 予測精度を損なわずに、ラップトップからクラスタまで多様なハードウェアアーキテクチャ上で効率的かつ並列化されたGP推論を可能にすること。
• 混合専門家モデルやPoE-GPモデルの代替として一貫性があり解析的に取り扱いやすい選択肢を提供し、過信または過剰に慎重になる問題を回避すること。

提案手法

• rBCMは、全トレーニングデータセットを互いに素なサブセットに分割し、共有されたハイパーパrameterを用いて各サブセットで独立したGPエキスパートを訓練する。
• 局所エキスパートからの予測を再帰的な木構造による集約により統合し、グローバルな事後分布を形成するために積の専門家（PoE）形式を採用する。
• すべての推論を解析的解を用いた閉形式で実行し、MCMCやサンプリングに基づく近似を避ける。
• ハードウェアトポロジーに依存しない階層的で分散型の計算グラフを用いることで、多様なインフラストラクチャへのデプロイを可能にする。
• 予測分布は、個々のエキスパートの予測密度を、その信頼性に自然に重み付けして乗算することで導出される。
• ハイパーパrameterは対数周辺尤度の勾配上昇法により最適化され、全勾配はエキスパート勾配の平均として計算され、正則化を促進する。

実験結果

リサーチクエスチョン

• RQ1 インダクティングポイントや変分パラメータに依存せずに、O(10^7)データポイントにスケーリング可能な分散型GPモデルは実現可能か？
• RQ2 非ステーションナリティを示す大規模データセットにおいて、積の専門家GPモデルは、スパースGP手法と比較して予測精度と計算効率の点で優れているか？
• RQ3 分散型PoEフレームワークにおける再帰的かつ閉形式の推論は、異種システム間での並列化を可能にしつつ、不確実性のキャリブレーションを維持できるか？
• RQ4 rBCMは、標準的なPoE-GPモデルの過信や一般化PoE-GPモデルの過剰に慎重になる問題を、実世界の回帰タスクで回避できるか？
• RQ5 rBCMは、コンsumerハードウェア上で最小限のメモリ使用量と高速収束を実現しながら、高い性能を達成できるか？

主な発見

• 70万件のフライトデータサブセットにおいて、rBCMはRMSE 27.1、NLPD 9.1を達成し、SVIGPおよびDist-VGPを両方の指標で上回った。
• 500万件のフライトデータセットにおいて、rBCMはRMSE 35.5、NLPD 8.8を達成し、大規模かつ非ステーションナリティを示すデータに対して高いロバストネスとスケーラビリティを示した。
• ラップトップ上で100万点のGPモデルをトレーニングするのに30分未満で完了し、低メモリおよび計算オーバーヘッドを示した。
• rBCMは70万、200万、500万点の全データサイズで一貫した性能を示し、標準誤差が0.3未満であったため、最適化の安定性が確認された。
• 標準BCMおよびPoEモデルが過信（PoE）や弱いエキスパート問題（BCM）に苦しむのに対し、rBCMは顕著に優れた性能を示した。
• rBCMのNLPD値は、データサイズの増加に伴っても安定しており、データの複雑さが増しても信頼性の高い不確実性推定が可能であることを示唆している。