[論文レビュー] Projected Stein Variational Newton: A Fast and Scalable Bayesian Inference Method in High Dimensions

Peng Chen, Keyi Wu+3 more|arXiv (Cornell University)|Jan 24, 2019

Markov Chains and Monte Carlo Methods参考文献 29被引用数 16

ひとこと要約

本稿では、平均ヘッセ行列の主要固有ベクトルによって定義される低ランク部分空間へのサンプルの投影を用いて、高次元事後分布の内在的な低次元幾何的構造を活用する、高速でスケーラブルなベイズ推論手法であるProjected Stein Variational Newton (pSVN) を提案する。pSVN は、サンプルをヘッセ行列の主要固有ベクトルで定義される低次元部分空間に投影することにより、次元に依存しない収束性と優れた並列スケーラビリティを達成し、高次元線形および非線形問題において、SVG D や SVN よりも精度と速度で優れている。

ABSTRACT

We propose a fast and scalable variational method for Bayesian inference in high-dimensional parameter space, which we call projected Stein variational Newton (pSVN) method. We exploit the intrinsic low-dimensional geometric structure of the posterior distribution in the high-dimensional parameter space via its Hessian (of the log posterior) operator and perform a parallel update of the parameter samples projected into a low-dimensional subspace by an SVN method. The subspace is adaptively constructed using the eigenvectors of the averaged Hessian at the current samples. We demonstrate fast convergence of the proposed method and its scalability with respect to the number of parameters, samples, and processor cores.

研究の動機と目的

• 従来のMCMC や変分推論手法が指数的計算量や収束性の悪さを抱える高次元ベイズ推論における次元の呪いに対処すること。
• 事後分布の内在的な低次元幾何的構造（対数事後分布のヘッセ行列の固有値の急速な減衰）を活用して計算コストを低減すること。
• パラメータ次元およびサンプル数に依存しない高精度で高速な収束性を維持するスケーラブルかつ並列化可能なアルゴリズムの開発。
• 16,000次元に達する高次元パラメータ空間を有する線形および非線形逆問題において、本手法の有効性を実証すること。

提案手法

• 負の対数事後分布の平均ヘッセ行列の主要固有ベクトルで張られる低次元部分空間に、パラメータサンプルを投影する。ヘッセ行列は、ランダム化された行列フリーなSVDを用いて計算される。
• 低次元部分空間において、Stein Variational Newton (SVN) の更新を繰り返し適用し、粒子群を事後分布に逐次移動させる。
• 部分空間における輸送写像をカーネル表現で定式化し、カーネルおよび勾配評価は、全次元 $ d $ ではなく、内在次元 $ r $ にのみ依存する。
• 各反復において、対数事後分布のヘッセ行列を用いて部分空間を逐次的に再構築し、データに依存する事後分布の幾何的構造を捉える。
• 計算負荷をプロセッサ間で分散化し、主なコスト（ヘッセ行列と前方解析）を並列化する。一方、カーネル評価およびニュートン解法のコストは、内在次元 $ r $ にのみ依存する。
• 低次元の更新結果を元のパラメータ空間に再投影することで、全次元のサンプルを再構築する。

実験結果

リサーチクエスチョン

• RQ1 対数事後分布のヘッセ行列によって明らかにされる事後分布の内在的低次元構造を活用することで、ベイズ推論における次元に依存しない収束性を達成できるか？
• RQ2 ヘッセ行列の固有ベクトルで定義される低次元部分空間に粒子の更新を投影することで、SVG D や SVN といった全次元手法よりも高速な収束性と高い精度が得られるか？
• RQ3 本手法の計算複雑性を、名目上のパラメータ次元 $ d $ およびサンプル数 $ N $ に依存させず、スケーラビリティを維持できるか？
• RQ4 プロセッサコア数の増加に伴い、本手法はどのようにスケーリングするか？実際のところ、強いスケーリングを達成するか？
• RQ5 標準的手法が失敗する非線形かつ高次元問題（例：$ d > 10^4 $）において、本手法はどの程度有効に機能するか？

主な発見

• 1089次元の2次元対数正規分布拡散問題において、pSVN は、平均および点ごとの分散推定において、SVN よりも高速な収束性と高い精度を達成し、RMSE が反復回数に伴い減少した。
• 高次元設定（$ d = 16,384 $）において、内在次元 $ r $ は約40で安定しており、名目次元とは無関係に事後分布の幾何的構造が有効に低次元的であることが示された。
• pSVN の収束はサンプル数 $ N $ に依存せず、$ N = 32 $ から $ 512 $ にわたる範囲で、更新量のノルム $ orm{w^l - w^{l-1}} $ の減少率が類似していた。
• 128コアまでで、pSVN はほぼ完璧な強いスケーリングを示し、ウォールクロックタイムがコア数に比例して減少した。また、主なコスト（ヘッセ行列と前方解析）は効率的にスケーリングされた。
• pSVN におけるカーネル評価およびニュートン系の解法の計算コストは、全パラメータ次元 $ d $ に依存せず、内在次元 $ r $ にのみ依存するため、スケーラビリティが確保された。
• 16K次元問題において、32個のサンプルのみで高い精度が達成されたことから、極めて高次元な状況下でも本手法のロバスト性と効率性が示された。