[論文レビュー] Projected Stein Variational Gradient Descent

Peng Chen, Omar Ghattas|arXiv (Cornell University)|Feb 9, 2020

Markov Chains and Monte Carlo Methods参考文献 23被引用数 19

ひとこと要約

本稿では、対数尤度の勾配情報を使ってパラメータを低次元部分空間に投影することにより、スケーラブルな高次元ベイズ推論手法であるProjected Stein Variational Gradient Descent (pSVGD) を提案する。低次元係数空間におけるSVG Dの適用により、標準的なSVG Dと比較して、優れた精度とスケーラビリティを達成しており、次元削減によって300倍以上の圧縮が可能であり、16,641次元まで高い精度を維持する。

ABSTRACT

The curse of dimensionality is a longstanding challenge in Bayesian inference in high dimensions. In this work, we propose a projected Stein variational gradient descent (pSVGD) method to overcome this challenge by exploiting the fundamental property of intrinsic low dimensionality of the data informed subspace stemming from ill-posedness of such problems. We adaptively construct the subspace using a gradient information matrix of the log-likelihood, and apply pSVGD to the much lower-dimensional coefficients of the parameter projection. The method is demonstrated to be more accurate and efficient than SVGD. It is also shown to be more scalable with respect to the number of parameters, samples, data points, and processor cores via experiments with parameters dimensions ranging from the hundreds to the tens of thousands.

研究の動機と目的

• パラメータ数の増加に伴い指数関数的に増大する計算複雑性に起因する次元の呪いを解消すること。
• 不適切な問題設定やデータに依存する部分空間構造に起因する、事後分布の本質的低次元性を活用すること。
• 複雑な尤度を持つ高次元問題においても精度を維持できる、スケーラブルで決定的ないずれの変分推論手法を開発すること。
• 適応的投影を用いて次元削減を実施することで、事後分布の忠実性を保持しつつ、大規模問題における効率的推論を可能にすること。
• パラメータ、サンプル、データポイント、プロセッサーコアの各々に対して、強い並列スケーラビリティを達成すること。

提案手法

• 対数尤度の勾配情報行列を用いて、データに依存する変動方向を捉えることにより、高次元パラメータを低次元部分空間に投影する。
• 勾配情報行列の固有値分解を用いて、事後分布に依存する主要な方向を適応的に同定することで、部分空間を構築する。
• 投影されたパラメータの低次元係数空間において、Stein Variational Gradient Descent (SVGD) を適用し、効率的な事後分布近似を実現する。
• 適切な仮定の下で、係数空間における輸送と投影されたパラメータ空間における輸送が等価であることを証明し、事後分布の忠実性を保証する。
• ステップサイズ選択にはラインサーチを用い、勾配計算、カーネル評価、サンプル更新の並列アルゴリズムを実装することで、強いスケーラビリティを実現する。
• 固有値を用いて部分空間を切り詰め、λ_{r+1} < 10^{-2} となるようにすることで、事後分布における投影誤差を小さく保つ。

実験結果

リサーチクエスチョン

• RQ1 対数尤度勾配情報から構築された低次元部分空間が、高次元ベイズ推論における事後分布を効果的に捉えることができるか？
• RQ2 この部分空間への問題の投影が、計算コストを削減しつつも、事後分布の精度を維持できるか？
• RQ3 標準的なSVG Dと比較して、pSVGDはパラメータ数、サンプル数、データポイント数、プロセッサーコア数の各々に対してどのようにスケーリングするか？
• RQ4 勾配情報行列の固有値の減衰を用いて、投影誤差を境界づけ・制御できるか？
• RQ5 提案されたフレームワーク下で、係数空間における輸送と投影されたパラメータ空間における輸送は等価であるか？

主な発見

• pSVGDは、289から16,641の次元にわたり、事後分散の捕捉において高い精度を維持するが、標準的なSVG Dは高次元では失敗する。
• 本手法は300倍以上の次元圧縮を達成し、最大16,641次元中で約50の有効次元（r ≈ 50）を保持する。相対的投影誤差は𝒪(𝑟) < 10^{-6} に抑えられる。
• 固有値が急速に減少（約7桁のオーダー）し、事後分布に依存する低次元部分空間の存在を裏付けている。
• さまざまな次元において、平均ステップノルムが同様に減少するため、パラメータ数に対するスケーラビリティが示されている。
• サンプル数（N）、データポイント数（s）、プロセッサーコア数（K）の各々に対して、pSVGDは強いスケーリングを示しており、固定作業量においてCPU時間はほぼ𝒪(K⁻¹)の速度で減少する。
• データポイント数の増加に伴っても、固有値の減衰率が一貫しており、データポイント数に対して弱いスケーリングを示している。