[論文レビュー] Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)

Maurizio Filippone, Raphael Engler|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Jan 22, 2015

Gaussian Processes and Bayesian Inference参考文献 47被引用数 11

ひとこと要約

本論文は、ガウス過程（GP）の共分散パラメータに対するスケーラブルでバイアスのない推論手法を提案する。この手法は、Stochastic Gradient Langevin Dynamics（SGLD）と、バイアスのない線形システムソルバー（ULISSE）を組み合わせたものである。ULISSEにより、共役勾配反復の早期終了が可能となり、大規模データセット上でのGP事後分布の正確なモンテカルロサンプリングが効率的に行える。実際の評価では、標準的なハードウェアで22,784件のサンプルを含むインカムセンサスデータセットを1日未塔で処理した。

ABSTRACT

In applications of Gaussian processes where quantification of uncertainty is of primary interest, it is necessary to accurately characterize the posterior distribution over covariance parameters. This paper proposes an adaptation of the Stochastic Gradient Langevin Dynamics algorithm to draw samples from the posterior distribution over covariance parameters with negligible bias and without the need to compute the marginal likelihood. In Gaussian process regression, this has the enormous advantage that stochastic gradients can be computed by solving linear systems only. A novel unbiased linear systems solver based on parallelizable covariance matrix-vector products is developed to accelerate the unbiased estimation of gradients. The results demonstrate the possibility to enable scalable and exact (in a Monte Carlo sense) quantification of uncertainty in Gaussian processes without imposing any special structure on the covariance or reducing the number of input vectors.

研究の動機と目的

• 不確実性の定量化が重要な分野において、スケーラブルで正確なガウス過程におけるベイジアン推論の課題に取り組む。
• O(n³)の複雑さを伴う高価な周辺尤度の計算を要する、従来のMCMC手法の計算ボトルネックを克服する。
• 共分散行列に特別な構造を課さず、データサイズを縮小せず、大規模なGPモデルの実用的推論を可能にする。
• 反復的線形ソルバーの早期停止を実現しながらも、不偏性を維持する高計算効率な手法を開発する。
• 標準的なデスクトップハードウェアを用いて、大規模な実世界データセットにおけるGP回帰の完全な不確実性定量化の実現可能性を示す。

提案手法

• 周辺尤度の計算を回避することで、GP共分散パラメータの事後分布からのサンプリングにStochastic Gradient Langevin Dynamics（SGLD）を適応する。
• 共役勾配（CG）アルゴリズムを用いて線形システムを解くことで、並列化可能な共分散行列-ベクトル積（CMVP）に依存する確率的勾配を計算する。
• CG反復の早期終了を可能にしながらも勾配推定の不偏性を保つ、バイアスのない線形システムソルバーULISSEを導入する。
• 各SGLD反復における密行列の線形システムの解法を高速化するため、GPUアクセceleratedなCMVPを活用する。
• 収束速度の向上を図るため、小さなデータサブセットから推定した前提条件Mを用いるが、調整はヒューリスティックなままである。
• ULISSEにより、CGを早期に停止しても勾配推定の不偏性を維持することで、全体の推論パイプラインの不偏性を保証する。

実験結果

リサーチクエスチョン

• RQ1 周辺尤度の近似や共分散行列への構造的制約を課さずに、GP共分散パラメータに対する不偏でスケーラブルな推論が可能か？
• RQ2 CGのような反復的線形ソルバーの早期終了を不偏にできるか。また、真の事後分布への収束は保たれるか？
• RQ3 GPUアクセceleratedな共分散行列-ベクトル積は、大規模データセットにおけるSGLDベースのGP推論の効率をどの程度向上できるか？
• RQ4 標準的なデスクトップハードウェアを用いて、数万件のポイントを含むデータセットにおけるGP回帰で、モンテカルロの意味で正確な不確実性定量化が可能か？
• RQ5 密行列の共分散構造を持つGPモデルにSGLDを適用する際、前提条件の選択が収束性および混合効率に与える影響はいかほどか？

主な発見

• 提案手法であるULISSEを用いたSGLDは、標準的なデスクトップマシンで22,784件のサンプルを含むインカムセンサスデータセットに対して、1日未塔で正確なベイジアン推論を実現した。
• ULISSEにより、共役勾配反復の早期終了に対しても不偏な勾配推定が可能となり、事後分布サンプリングプロセスの有効性が維持された。
• 5本のチェーンにおいて、潜在尺度縮小因子（PSRF）が1.05未満となったことから、数千年のSGLD反復で収束が確認された。
• SGLDにULISSEを組み合わせた手法では、有効サンプルサイズが約0.1％に達し、平均して2.4時間ごとに1つの独立サンプルが生成された。
• 低ランク近似やスパース構造、データサブサンプリングを一切必要とせず、大規模データセットへのスケーリングが可能であり、完全な不確実性定量化を保持した。
• 2つのGPUを用いることで、共分散行列-ベクトル積の計算が効率的に行えるようになり、小規模なGP推論を超えた実世界応用の実現が可能になった。