[論文レビュー] Riemannian Stein Variational Gradient Descent for Bayesian Inference

Chang Liu, Jun Zhu|arXiv (Cornell University)|Nov 30, 2017

Gaussian Processes and Bayesian Inference参考文献 25被引用数 20

ひとこと要約

本稿では、情報幾何を活用してリーマン多様体へスティン変分勾配降下法（SVGD）を拡張した、粒子ベースのベイジアン推論手法であるリーマン多様体スティン変分勾配降下法（RSVGD）を提案する。RSVGDは、リーマン多様体上での粒子効率性、反復効率性、近似の柔軟性に優れ、多様体制約付きおよびユークリッド空間の両タスクにおいて、SVGDおよびMCMC手法を上回る性能を発揮する。

ABSTRACT

We develop Riemannian Stein Variational Gradient Descent (RSVGD), a Bayesian inference method that generalizes Stein Variational Gradient Descent (SVGD) to Riemann manifold. The benefits are two-folds: (i) for inference tasks in Euclidean spaces, RSVGD has the advantage over SVGD of utilizing information geometry, and (ii) for inference tasks on Riemann manifolds, RSVGD brings the unique advantages of SVGD to the Riemannian world. To appropriately transfer to Riemann manifolds, we conceive novel and non-trivial techniques for RSVGD, which are required by the intrinsically different characteristics of general Riemann manifolds from Euclidean spaces. We also discover Riemannian Stein's Identity and Riemannian Kernelized Stein Discrepancy. Experimental results show the advantages over SVGD of exploring distribution geometry and the advantages of particle-efficiency, iteration-effectiveness and approximation flexibility over other inference methods on Riemann manifolds.

研究の動機と目的

• リーマン多様体上でのベイジアンモデルに適した効果的な粒子ベースの推論手法の欠如に対処すること。
• MCMC や VI などの既存手法が、複雑で非ユークリッド的な事後分布の幾何構造を扱う際の限界を克服すること。
• スティン変分勾配降下法（SVGD）の枠組みをリーマン多様体へ一般化しつつ、その主な利点（粒子効率性と非パラメトリックな柔軟性）を維持すること。
• 曲がった空間における推論に適した新たな理論的ツール—リーマン多様体スティンの恒等式とリーマン多様体カーネル化スティン乖離度—を構築すること。
• 多様体上での事後分布の幾何的構造を活用することで、リーマン多様体（例：超球面）およびユークリッド空間の両方の推論タスクにおいて、本手法の有効性を実証すること。

提案手法

• リーマン多様体上の方向微分を導出し、SVGDの関数的勾配更新則を一般化する。
• 古典的スティンの恒等式の多様体適合版であるリーマン多様体スティンの恒等式を導入し、スコアに基づく推論を可能にする。
• 多様体上での事後分布近似の品質を評価するための発散尺度として、リーマン多様体カーネル化スティン乖離度（RKSD）を提案する。
• ガウスカーネルの制限から導かれる、超球面 $\mathbb{S}^{n-1}$ 上で有効なカーネルとして、von Mises-Fisher（vMF）カーネル $K(y,y') = \exp(\kappa y^\top y')$ を用いる。
• 和カーネルテクニックを用いて、vMFカーネルを $ (\mathbb{S}^{n-1})^P $ の積多様体へ拡張し、複数粒子更新を可能にする。
• パrameter空間の内面的幾何構造を尊重する多様体制約付き最適化フレームワークを用いてRSVGDを実装し、座標依存の歪みを回避する。

実験結果

リサーチクエスチョン

• RQ1 SVGDは、理論的および実用的利点を維持したまま、リーマン多様体へ一般化可能か？
• RQ2 SVGDの関数的勾配更新則は、リーマン多様体の内面的幾何にどのように適合可能か？
• RQ3 リーマン設定下でのスティンの恒等式およびカーネル化乖離度の適切な類似物は何か？
• RQ4 RSVGDは、MCMC や VI と比較して、リーマン多様体上での粒子効率性および反復効率性に優れているか？
• RQ5 RSVGDは、多様体制約付きおよびユークリッド推論タスクの両方において、事後分布の幾何的構造を効果的に活用できるか？

主な発見

• 20News-different データセットにおいて、RSVGDはエポックごとのログパープレキシティの進捗が最も効果的であり、反復効率性においてMCMCおよびVI手法を上回った。
• 100個の粒子のみで、RSVGDはSGGMCf や GMC よりも低いログパープレキシティを達成し、優れた粒子効率性と近似の柔軟性を示した。
• 粒子数を増加させた場合、SGGMCf などのMCMC手法は自己相関の影響で改善が限定的である一方、RSVGDは強力な性能向上を維持した。
• 本手法は、SVGDをリーマン多様体へ効果的に一般化し、グローバル座標系に依存せずに、超球面やその他の曲がった空間における推論を可能にした。
• 超球面 $\mathbb{S}^{n-1}$ 上のvMFカーネルが適切なカーネルとして正当化され、RSVGDにおける安定的かつ効果的な粒子更新を可能にした。
• 平均場VIに比べ、非パラメトリックで柔軟な変分族を有するため、RSVGDはMCMCと同等の結果を、はるかに少ない粒子数で達成した。