[論文レビュー] Stein Variational Gradient Descent Without Gradient

Jun Han, Qiang Liu|arXiv (Cornell University)|Jun 7, 2018

Numerical methods in inverse problems参考文献 21被引用数 22

ひとこと要約

本稿では、計算が困難な尤度密度の勾配を、補助分布からの代替勾配に置き換え、重要度再重み付けによりバイアスを補正する勾配フリーなStein Variational Gradient Descent（GF-SVGD）の変種を提案する。この手法は、重要度重み付きカーネルを用いた標準的なSVG Dとして理論的に裏付けられており、勾配へのアクセスが不要な高速でサンプル効率の高い推論を可能にし、勾配フリーなMCMC手法を凌駆する収束性と精度を示す。

ABSTRACT

Stein variational gradient decent (SVGD) has been shown to be a powerful approximate inference algorithm for complex distributions. However, the standard SVGD requires calculating the gradient of the target density and cannot be applied when the gradient is unavailable. In this work, we develop a gradient-free variant of SVGD (GF-SVGD), which replaces the true gradient with a surrogate gradient, and corrects the induced bias by re-weighting the gradients in a proper form. We show that our GF-SVGD can be viewed as the standard SVGD with a special choice of kernel, and hence directly inherits the theoretical properties of SVGD. We shed insights on the empirical choice of the surrogate gradient and propose an annealed GF-SVGD that leverages the idea of simulated annealing to improve the performance on high dimensional complex distributions. Empirical studies show that our method consistently outperforms a number of recent advanced gradient-free MCMC methods.

研究の動機と目的

• ブラックボックスや計算コストの高い推論設定において一般的な制約である、標準SVG Dが尤度密度の勾配のアクセスを必要とすることの制限を解消すること。
• サンプルを補助提案分布から抽出する必要がないにもかかわらず、理論的整合性とサンプル効率を維持する勾配フリーなSVG Dの代替手法を開発すること。
• 高次元で複雑な分布に対して、シミュレーテッド・アニーリングを統合することで性能を向上させること。
• 偏った勾配推定を用いても、SVG Dが示す収束性を保つ理論的根拠を持つ手法を提供すること。

提案手法

• 任意の補助分布 ρ(x) からの勾配 ∇log ρ(x) を、SVG Dにおける真の勾配 ∇log p(x) に置き換える。
• p(x_j) と ρ(x_j) の比 w_j = ρ(x_j)/p(x_j) を用いた重要度重み付けにより、更新方向に生じるバイアスを補正する。
• 重要度重み付きカーネル w(x)w(x')k(x,x') を用いた標準的なSVG D更新と同一視することで、元のSVG Dと理論的整合性を保証する。
• 高次元での収束性を向上させるために、段階的に補助分布を精緻化するシミュレーテッド・アニーリングを用いた変種（AGF-SVGD）を採用する。
• ρ(x) からのサンプリングは不要であり、ρ(x) とその勾配の評価のみが必要であるため、ρ が複雑であったり未正規化であったりしても問題ない。
• 粒子の集合を用いて目標分布を近似し、KLダイバージェンスを最小化する関数的勾配フローにより粒子を更新する。

実験結果

リサーチクエスチョン

• RQ1 理論的整合性とサンプル効率を維持しつつ、勾配フリーなSVG Dを構築することは可能か？
• RQ2 真の勾配を代替勾配に置き換えることで生じるバイアスを、効果的に是正する方法は何か？
• RQ3 実用的最適性能を達成するための補助分布 ρ(x) の選択基準は何か？
• RQ4 シミュレーテッド・アニーリングを勾配フリーなSVG Dフレームワークに効果的に統合できるか？
• RQ5 最先端の勾配フリーMCMC手法と比較して、収束速度と精度の面で本手法はどのように優れているか？

主な発見

• 提案手法GF-SVGDは、重要度重み付きカーネルを用いた標準SVG Dと数学的に同等であり、KLダイバージェンスの勾配フローによる最小化といったSVG Dの理論的性質をそのままで継承する。
• 実験結果から、GF-SVGDはKAMH や KHMC といった先進的な勾配フリーMCMC手法を、収束速度と精度の両面で一貫して上回っている。特に、10,000ステップのバーンイン期間を除いても同様の結果が得られている。
• アニーリング付きGF-SVGD（AGF-SVGD）は、トロイ・タスクおよび実世界のGP分類タスクにおいて、平均・分散・MMDの推定が高速かつ高精度に達成されている。
• d=9およびd=18のGlassおよびSUSYデータセットにおいて、AGF-SVGDはバーンイン期間を考慮しない状態でもKAMH や KHMC よりも収束が速く、実用的効率が優れていることが示された。
• ρ(x) がp(x)の過剰分散・未正規化・複雑な近似であっても、ρ(x) と ∇log ρ(x) の計算が可能であれば、本手法は依然として有効である。