[論文レビュー] A Short Note on Gaussian Process Modeling for Large Datasets using Graphics Processing Units

Mark Franey, Pritam Ranjan+1 more|arXiv (Cornell University)|Mar 6, 2012

Gaussian Processes and Bayesian Inference参考文献 20被引用数 18

ひとこと要約

この論文は、CUDAを介したGPUアクセラレーションを活用することで、大規模データセットにおけるガウス過程（GP）モデリングが、計算時間を数時間から数分にまで短縮され、最大150倍の高速化を達成できることを示している。著者らは、GP尤度評価における主要なボトル neck である行列の逆行列計算および行列式計算を高速化するため、CPU+GPUの非対称システムを実装し、モデルの正確性を損なわず、顕著な性能向上を実現した。

ABSTRACT

The graphics processing unit (GPU) has emerged as a powerful and cost effective processor for general performance computing. GPUs are capable of an order of magnitude more floating-point operations per second as compared to modern central processing units (CPUs), and thus provide a great deal of promise for computationally intensive statistical applications. Fitting complex statistical models with a large number of parameters and/or for large datasets is often very computationally expensive. In this study, we focus on Gaussian process (GP) models -- statistical models commonly used for emulating expensive computer simulators. We demonstrate that the computational cost of implementing GP models can be significantly reduced by using a CPU+GPU heterogeneous computing system over an analogous implementation on a traditional computing system with no GPU acceleration. Our small study suggests that GP models are fertile ground for further implementation on CPU+GPU systems.

研究の動機と目的

• 大規模データセットにおけるガウス過程モデルの適合に伴う高い計算コスト、特にO(n³)の行列演算に起因するものに対処すること。
• 統計モデリングワークロードにおけるGPUアクセラレーション（CUDA経由）の実現可能性と性能上の利点を調査すること。
• 従来のCPUオンリーサイドに比べ、非対称CPU+GPUシステムがGPモデル適合の実行時間を劇的に短縮できることを実証すること。
• 特にコンピュータ実験やエミュレータ適合の文脈において、計算負荷の高い統計応用分野におけるGPUアクセラレーションのプロトタイプ実装を提供すること。

提案手法

• 大規模n設計における近似特異性の問題を軽減するため、p = 1.95のパワー指数相関関数を用いてガウス過程回帰を実装する。
• ハイパーパrameterの適合には最尤推定（MLE）を用い、相関行列Rの行列式および逆行列の繰り返し計算が必要となる。
• NVIDIAのCUDAツールキットを用いてGPUハードウェア上で行列の逆行列計算および行列式計算をアクセラレーションし、単精度浮動小数点並列処理を活用する。
• 同一のモデル仕様およびデータを用いて、CPUオンリーサイドとCPU+GPUサイドの実装を比較し、非対称コンピューティングプラットフォーム上で実行時間を測定する。
• 尤度評価中の数値的安定性を向上させるとともに、計算オーバーヘッドを低減するため、行列因子分解技術（例：LU、QR）を用いる。
• GPU上で速度を最大化するため、単精度算術を用いるが、必要に応じて二重精度の精緻化を後続で行い、精度を向上可能とする。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレーションは、大規模データセットにおけるガウス過程モデルの適合に要する計算時間を顕著に短縮できるか？
• RQ2 GP尤度評価における実行時間の観点から、CPU+GPU非対称システムとCPUオンリーサイドの性能はどのように比較されるか？
• RQ3 データセットサイズがn = 1000を超えて増大する際、GPUアクセラレーションの実用的限界は何か？
• RQ4 単精度と二重精度の浮動小数点精度の違いが、GPUアクセラレーションされたGPモデルにおけるハイパーパrameter推定の正確性にどの程度影響を及えるか？
• RQ5 GPUアクセラレーションは、既存の統計最適化技術と効果的に組み合わせられ、大規模GPモデリングにおけるスケーラビリティをさらに向上させられるか？

主な発見

• n = 4064の場合、GPUアクセラレーション実装により、計算時間がCPUオンリーサイドの約45時間から18分に短縮され、150倍を超える高速化が達成された。
• n = 1024の場合、GPU実装は尤度評価を96.19秒で完了したのに対し、CPUでは13,325.86秒を要し、138倍の高速化が得られた。
• CUDA実装は、全テスト対象データセットサイズ（64, 256, 1024, 4064）において一貫した高速化を達成しており、特にnが大きい場合に顕著な利点が見られた。
• GPU上で単精度算術を用いても、CPUオンリーサイドと比較して、推定されたハイパーパrameter（μ, σ²z, および -2logLθ）はほぼ同一であり、妥当な正確性が保証された。
• この研究は、行列の逆行列計算および行列式計算（O(n³)演算）がGPモデリングにおける主なボトル neck であり、GPU並列処理に非常に適していることを確認した。
• 結果から、GPUアクセラレーションは、特にコンピュータ実験やシミュレータエミュレーションの文脈において、大規模データセットへのGPモデルスケーリングに実用的かつ非常に効果的なアプローチであると示唆された。