[論文レビュー] Scalable Gaussian-process regression and variable selection using Vecchia approximations

Jian Cao, Joseph Guinness+2 more|arXiv (Cornell University)|Feb 25, 2022

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

本稿では、ベクトルチア近似を用いた変数選択を伴うガウス過程回帰のスケーラブルなアルゴリズムであるVGPRを提案する。スケーリングされたベクトルチア近似とミニバッチサブサンプリング、および新しい2次制約付き座標降下法を組み合わせることで、数百万の応答と数千の共変量を効率的に処理し、大規模な設定において高い精度と計算効率を達成する。

ABSTRACT

Gaussian process (GP) regression is a flexible, nonparametric approach to regression that naturally quantifies uncertainty. In many applications, the number of responses and covariates are both large, and a goal is to select covariates that are related to the response. For this setting, we propose a novel, scalable algorithm, coined VGPR, which optimizes a penalized GP log-likelihood based on the Vecchia GP approximation, an ordered conditional approximation from spatial statistics that implies a sparse Cholesky factor of the precision matrix. We traverse the regularization path from strong to weak penalization, sequentially adding candidate covariates based on the gradient of the log-likelihood and deselecting irrelevant covariates via a new quadratic constrained coordinate descent algorithm. We propose Vecchia-based mini-batch subsampling, which provides unbiased gradient estimators. The resulting procedure is scalable to millions of responses and thousands of covariates. Theoretical analysis and numerical studies demonstrate the improved scalability and accuracy relative to existing methods.

研究の動機と目的

• 応答の数（n）と共変量の数（d）の両方が大きい高次元設定において、同時にスケーラブルなガウス過程回帰と変数選択を実現する課題に対処すること。
• 近似手法を用いて計算コストをO(n³)からスケーラブルな水準に低減させつつ、高い予測精度を維持する方法の開発。
• スパarsityと関連性を扱える、勾配に基づく更新と新しい座標降下法を用いた効率的な変数選択の実現。
• ベクトルチアに基づくミニバッチサブサンプリングにより、大規模な設定でも勾配推定が不偏となるようにし、確率的最適化を支援すること。
• 既存の罰則付きGP手法が高次元入力空間で困難を抱える中、理論的裏付けがあり計算効率の高い代替手法を提供すること。

提案手法

• スケーリングされたベクトルチア近似を用いて、精度行列のスパースなコレスキー因子を構築し、O(n)の複雑度で効率的なGP推論を実現する。
• 順序付き条件付き近似を用いて、同時GP尤度を一変量条件付き確率の積に分解し、計算負荷を低減する。
• 勾配に基づくパスフォローリングアルゴリズムにより、尤度の勾配に基づいて逐次的に共変量を追加し、正則化パスの効率的探索を可能にする。
• 新しい2次制約付き座標降下アルゴリズムにより、不要な共変量を的確に削除し、スパarsityを促進するとともにモデルの解釈性を向上させる。
• ベクトルチアに基づくミニバッチサブサンプリングを導入し、不偏な勾配推定器を提供することで、確率的最適化と大規模データへのスケーラビリティを実現する。
• 適応的ブリッジ罰則の下で罰則付き対数尤度を最適化し、モデルの適合度とスパarsityのバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ベクトルチア近似を勾配に基づく変数選択と効果的に組み合わせることで、nとdが大きい場合のGP回帰のスケーラビリティを実現できるか？
• RQ2 提案されたミニバッチサブサンプリング戦略が、大規模最適化に適した不偏な勾配推定器を提供するか？
• RQ3 大規模データセットにおいて、VGPRの精度、収束性、計算効率の観点で、既存手法と比較してどの程度優れているか？
• RQ4 2次制約付き座標降下アルゴリズムが、モデルの安定性を保ちながら関連する共変量を効果的に同定できるか？
• RQ5 スケーリングされたベクトルチア近似が、高次元入力空間におけるGP回帰の精度にどのような影響を与えるか？

主な発見

• VGPRは、数百万の応答と数千の共変量を扱うガウス過程回帰のスケーラブルな推論を達成し、既存手法に比べて計算効率が顕著に優れている。
• ベクトルチアに基づくミニバッチサブサンプリングにより、不偏な勾配推定器が得られ、安定的かつ効率的な確率的最適化が可能である。
• 提案された2次制約付き座標降下アルゴリズムにより、不要な共変量が効果的に削除され、スパースで解釈可能なモデルが得られる。
• 理論的分析により、ベクトルチア近似における期待対数尤度が真のパrameter値で最大化されることを確認し、一貫性を支持する。
• 数値実験では、VGPRが正確な予測性能を維持しながら、正確なGP手法と比較して計算コストを桁違いに低減していることが示された。
• スケーリングされたベクトルチア近似は、特にd > 10の高次元入力空間において、標準的なベクトルチア近似よりも精度が向上している。