[論文レビュー] Exact Gaussian Processes on a Million Data Points

Ke Alexander Wang, Geoff Pleiss+4 more|arXiv (Cornell University)|Mar 19, 2019

Gaussian Processes and Bayesian Inference参考文献 48被引用数 31

ひとこと要約

本稿では、Blackbox Matrix-Matrix (BBMM) 乗算と共役勾配法を活用することで、標準的な O(n³) の計算ボトルネックを回避し、最大100万点のデータセットに対してスケーラブルなマルチGPUフレームワークを提示する。この手法により、8つのGPUを用いて100万点のデータに対して正確なガウス過程(GP)学習を2時間未塔で実現し、UCIデータセットにおいてスケーラブルな近似手法よりも優れた性能を示し、RMSEが最大2倍まで低減された。

ABSTRACT

Gaussian processes (GPs) are flexible non-parametric models, with a capacity that grows with the available data. However, computational constraints with standard inference procedures have limited exact GPs to problems with fewer than about ten thousand training points, necessitating approximations for larger datasets. In this paper, we develop a scalable approach for exact GPs that leverages multi-GPU parallelization and methods like linear conjugate gradients, accessing the kernel matrix only through matrix multiplication. By partitioning and distributing kernel matrix multiplies, we demonstrate that an exact GP can be trained on over a million points, a task previously thought to be impossible with current computing hardware, in less than 2 hours. Moreover, our approach is generally applicable, without constraints to grid data or specific kernel classes. Enabled by this scalability, we perform the first-ever comparison of exact GPs against scalable GP approximations on datasets with $10^4 \!-\! 10^6$ data points, showing dramatic performance improvements.

研究の動機と目的

• O(n³)の計算コストとO(n²)のメモリコストにより、従来は100万点までの学習が不可能であった正確なガウス過程推論を可能にすること。
• 大規模データに対して正確なGPとスケーラブルなGP近似の間の性能格差を埋めるために、実用的で高精度な基準を提供すること。
• グリッド構造のデータや特定のカーネル族を前提としない、汎用的でカーネルに依存しない手法を開発すること。
• パラメトリックでないモデル（例：GPs）が10⁴点を超える大規模データにおいても顕著な利益を得続けられることを示すこと。
• 10⁴～10⁶点のデータサイズ範囲において、正確な解をゴールドスタンダードとして提供することで、GP近似手法の公平なベンチマークを可能にすること。

提案手法

• GP学習を反復的行列乗算に再定式化することで、直接的なコレスキー分解を回避するBlackbox Matrix-Matrix (BBMM) 推論を活用する。
• 効率的かつ高精度にGPシステムを解くために、ピボット付きコレスキー前処理を施した線形共役勾配法(CG)を採用する。
• カーネル行列を分割することで、複数のGPUにカーネル行列乗算を分散処理し、1GPUあたりのメモリをO(n)に削減することで、10⁴点を超えるスケーリングを実現する。
• ハイパーパramータの初期化やキャッシュ戦略といった実用的ヒューリスティクスを適用し、1GPUで1回の予測が1秒未塔で可能になるよう高速化を図る。
• 大規模データセットでは、ステップ数を削減（例：100ステップ）したAdam最適化を採用することで、精度を維持しつつ学習時間を最小限に抑える。
• 入力次元やカーネルタイプ（RBFやMatérnを含む）に制限を設けず、任意のものに対応可能である。

実験結果

リサーチクエスチョン

• RQ1 標準的なハードウェアと既存の最適化手法を用いて、100万点を超えるデータセットに対して正確なガウス過程を学習可能か？
• RQ2 10⁴～10⁶点のデータセットで学習した場合、正確なGPとスケーラブルなGP近似（例：SGPR, SVGP）の予測性能はどのように比較されるか？
• RQ3 10⁴点を超える規模でデータ量が増加しても、非パラメトリックモデル（例：GPs）の性能は継続的に向上するか？その向上幅はどの程度か？
• RQ4 大規模なスケールにおける正確なGP推論の計算コストはどの程度か？現代のマルチGPUシステムを用いることで、実用的な学習時間にまで短縮可能か？
• RQ5 提案されたBBMMベースの手法は、特別な仮定を必要とせず、さまざまなカーネル族やデータ構造に一般に適用可能か？

主な発見

• HouseElectricデータセット（1,311,539点）で正確なGPを学習した結果、RMSEは0.049を達成し、最良のスケーラブルな近似（SVGP）の0.086RMSEを上回り、相対的に42%の改善を示した。
• 3DRoadデータセット（278,319点）では、正確なGPが0.106RMSEを達成したのに対し、SGPRは0.654、SVGPは0.475であった。それぞれ84%および78%の誤差低減が確認された。
• 100万点のデータに対して正確なGPを学習する際、8GPUを用いて2時間未塔で完了し、キャッシュを活用した予測は1回あたり1秒未塔であった。
• CTsliceデータセット（34,240点）では、8GPUを用いて正確なGPの学習時間を41.7秒に短縮したが、スケーラブルな近似手法では77.5～137秒を要した。
• HouseElectricのような大規模データセットでは、正確なGPは100ステップのAdam最適化で3.29日間で学習完了となったが、SVGPは4.22時間で完了した。これは、効率的なソルバを用いることで、正確なGPが少ない最適化ステップ数で高速に学習可能であることを示している。
• 本研究では、非パラメトリックモデル（例：GPs）がデータ量の増加に伴い継続的に利益を得続けることが確認された。特に大規模データ環境下でも顕著な性能向上が見られ、正確な推論の価値が裏付けられた。