[論文レビュー] Embarrassingly Parallel Inference for Gaussian Processes

Michael Minyi Zhang, Sinead A. Williamson|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference参考文献 35被引用数 8

ひとこと要約

この論文は、ブロック対角共分散行列における重要度サンプリングを用いてスケーラブルで分散処理可能な計算を可能にする、ガウス過程における明白に並列化可能な推論アルゴリズム、IS-MOEを提案する。複数の分割されたガウス過程を並列で学習し、重要度重みを用いて統合することで、IS-MOEは計算コストを大幅に削減しながらも、フルGP回帰と同等の性能を達成し、非stationary関数や大規模データセットに対して特に有効である。

ABSTRACT

Training Gaussian process-based models typically involves an $ O(N^3)$ computational bottleneck due to inverting the covariance matrix. Popular methods for overcoming this matrix inversion problem cannot adequately model all types of latent functions, and are often not parallelizable. However, judicious choice of model structure can ameliorate this problem. A mixture-of-experts model that uses a mixture of $K$ Gaussian processes offers modeling flexibility and opportunities for scalable inference. Our embarrassingly parallel algorithm combines low-dimensional matrix inversions with importance sampling to yield a flexible, scalable mixture-of-experts model that offers comparable performance to Gaussian process regression at a much lower computational cost.

研究の動機と目的

• 大規模データセットにおけるガウス過程推論のO(N³)計算ボトル neck を解消すること。
• 非stationary関数のモデリングの柔軟性を保ちながら、スケーラブルで並列化可能な推論手法を開発すること。
• 長距離相関や短距離フラクチュエーションを捉えられない、スパースおよびローカルGP手法の限界を克服すること。
• 最小限のグローバル通信で分散処理を用いて混合専門家GPモデルにおける効率的推論を可能にすること。
• 大規模データセットにおける回帰および分類タスクで競争力のある性能を示すこと。

提案手法

• IS-MOEアルゴリズムは、各々がブロック対角共分散行列を持つ複数の分割されたガウス過程の平均化に重要度サンプリングを用いる。
• 入力空間における位置に基づく分布を用いてパーティションを生成し、非stationaryな挙動をモデル化する。
• 各パーティションされたGPは並列に独立して訓練され、行列逆行列計算コストをO(N³)からO(K·(N/K)³)に削減する。
• ミニバッチベースの確率的近似により、ブロックサイズをさらに縮小しながらも予測性能を維持する。
• 重要度重みは分散的に計算され、サンプルを統合するにはたった一度のグローバル集約ステップのみを必要とする。
• 最終的な事後予測分布は、重要度重みを用いてサンプルを統合することで、単一のブロック対角行列よりも表現力の高い共分散構造を実現する。

実験結果

リサーチクエスチョン

• RQ1 非stationary関数のモデリングの柔軟性を損なわず、スケーラブルで並列なガウス過程モデル推論を達成できるか？
• RQ2 パーティショニングされたGPにおける重要度サンプリングは、標準的な変分推論と比較して、予測精度と計算効率の面でどのように異なるか？
• RQ3 ブロック対角近似と並列化を用いることで、O(N³)のGP推論コストを削減しながらも高い予測性能を維持できるか？
• RQ4 大規模な設定下で、非stationaryまたは複雑な潜在関数に対して、IS-MOEはスパース変分推論を上回る性能を示せるか？
• RQ5 IS-MOEと標準的なGP推論手法との間で、ウォルクックタイムと予測品質のトレードオフはどのように変化するか？

主な発見

• IS-MOEは、3つのUCIデータセットにおいて、回帰タスクでフルGP回帰と同等の予測性能を達成し、AUCおよび対数尤度スコアがフルGPの5%以内に収まった。
• 100万件の学習ポイントを持つヒッグスボソン分類データセットでは、6分間の学習時間にもかかわらず、スパース変分推論よりも優れた予測対数尤度とAUCを達成した。
• J=100サンプルおよびK=20パーティションでも競争力ある性能を維持しており、大規模データセットへのスケーラビリティを示した。
• AIRSデータセットでは、複数のK値に対してSVIを上回ったことから、パーティショニングの選択に対して頑健であることが示された。
• 100万ポイントのデータセットで6分間のウォルクックタイムを記録したことで、大規模データアプリケーションにおける実用的妥当性が裏付けられた。
• 重要度サンプリングアプローチにより、ローカル手法に一般的に見られる端縁効果を回避し、長距離および短距離の相関を効果的に捉えた。