[論文レビュー] Parallel Gaussian Process Regression with Low-Rank Covariance Matrix Approximations

Jie Chen, N. Cao+4 more|arXiv (Cornell University)|May 24, 2013

Gaussian Processes and Bayesian Inference参考文献 21被引用数 33

ひとこと要約

本稿では、低ランク共分散行列近似を用いて計算をクラスタに分散させる2つの並列ガウス過程回帰手法—pPIC および pICF—を提案する。中央集権的で完全なGP手法と比較して顕著な高速化を達成しながら、正確なGPと同等の予測性能を維持する。これらの手法はデータサイズおよびマシン数の増加に伴い効率的にスケーリングされ、大規模応用におけるリアルタイム予測を可能にする。

ABSTRACT

Gaussian processes (GP) are Bayesian non-parametric models that are widely used for probabilistic regression. Unfortunately, it cannot scale well with large data nor perform real-time predictions due to its cubic time cost in the data size. This paper presents two parallel GP regression methods that exploit low-rank covariance matrix approximations for distributing the computational load among parallel machines to achieve time efficiency and scalability. We theoretically guarantee the predictive performances of our proposed parallel GPs to be equivalent to that of some centralized approximate GP regression methods: The computation of their centralized counterparts can be distributed among parallel machines, hence achieving greater time efficiency and scalability. We analytically compare the properties of our parallel GPs such as time, space, and communication complexity. Empirical evaluation on two real-world datasets in a cluster of 20 computing nodes shows that our parallel GPs are significantly more time-efficient and scalable than their centralized counterparts and exact/full GP while achieving predictive performances comparable to full GP.

研究の動機と目的

• 大規模応用におけるスケーラビリティとリアルタイム利用を制限する、完全なガウス過程回帰の立方時間計算量の問題に対処すること。
• 複数のマシンのクラスタに計算を分散させることで、効率的でスケーラブルかつリアルタイムのGP回帰を可能にすること。
• 低ランク共分散行列近似を用いて計算コストを削減しながら、正確なGPと同等の予測精度を維持すること。
• 局所的GPアプローチで一般的に見られる境界の不連続性を回避し、多次元入力をサポートする並列手法を設計すること。
• 予測性能が中央集権的対応手法と一致することを理論的に保証すること。

提案手法

• 中央集権的低ランクGP近似の並列版として、pPIC（並列部分独立条件付き）およびpICFベースのGP（並列不完全コレスキー分解）を提案する。
• 完全なGPの計算負荷を軽減する低ランク共分散行列近似を用い、複数のマシンへの分散処理を可能にする。
• メッセージパassingインターフェース（MPI）を用いて、共分散行列近似および推論タスクの計算をクラスタ全体に分散する。
• pPICではサポート集合を、pICFでは低ランク因子分解を用いて、完全な共分散行列を効率的に近似する。
• 理論的分析により、並列手法の予測性能が中央集権的低ランクGP手法と一致することを保証する。
• MPIを用いて実装し、20ノードのクラスタ上で実世界のデータセットを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 低ランク共分散行列近似を大規模データセットのGP回帰に効果的に並列化できるか？
• RQ2 提案された並列GP手法の時間・空間・通信計算量は、中央集権的および完全なGP手法と比べてどのように異なるか？
• RQ3 並列手法の予測性能は、完全なGPおよび中央集権的近似手法とどの程度一致するか？
• RQ4 データサイズおよびマシン数の増加に伴い、これらの手法はどのようにスケーリングするか？
• RQ5 並列手法は時間的に制限のある応用においてリアルタイムの予測性能を達成できるか？

主な発見

• 32,000件のサンプルを含むデータセットにおいて、pPICおよびpICFベースのGPは完全なGPに対して100～10,000倍の高速化を達成し、pPICおよびpPITCはpICFベースのGPよりも顕著に高速である。
• pPICおよびpPITCは、小さなサポート集合サイズでも安定した予測性能を維持するが、pICFベースのGPは小さな低ランク数で急激に性能が低下する。
• pICFベースのGPは、小さなランク（例：R ≤ 1024）では負のMNLPを示し、予測分散の正の性質に問題があることを示唆するが、より高いランク（R = 2048～4096）で安定化する。
• pPICおよびpPITCは中央集権的対応手法よりもデータサイズの増加に伴い速度向上が顕著であり、マシン数の増加に伴うスケーリング性能もpICFベースのGPを上回る。
• pPICおよびpPITCは、完全なGPと同等の予測性能を達成しながらも、2～4桁の高速化を実現しており、リアルタイム応用に適している。
• ヒューリスティックなR = √|D|は実際には不適切であり、pICFベースのGPは適切な性能を達成するためにはR > √|D|（例：|D| = 32,000の場合R = 2048）である必要がある。