[論文レビュー] Stein Variational Gradient Descent: many-particle and long-time asymptotics

Nikolas Nüsken, D. R. Michiel Renger|arXiv (Cornell University)|Feb 25, 2021

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿は、変分推論とマルコフ連鎖モンテカルロ法の間の厳密な関係を、スティン変分勾配降下法（SVGD）を通じて確立する。SVGDの決定的および確率的バージョンが、スティン幾何における勾配フローから生じることを示し、長時間および多数粒子極限において、核化されたスティン不偏差（スティン・ファイシャー情報）が大偏差率関数を支配することを証明する。これにより、SVGDの収束行動の変分的特徴づけが得られる。

ABSTRACT

Stein variational gradient descent (SVGD) refers to a class of methods for Bayesian inference based on interacting particle systems. In this paper, we consider the originally proposed deterministic dynamics as well as a stochastic variant, each of which represent one of the two main paradigms in Bayesian computational statistics: variational inference and Markov chain Monte Carlo. As it turns out, these are tightly linked through a correspondence between gradient flow structures and large-deviation principles rooted in statistical physics. To expose this relationship, we develop the cotangent space construction for the Stein geometry, prove its basic properties, and determine the large-deviation functional governing the many-particle limit for the empirical measure. Moreover, we identify the Stein-Fisher information (or kernelised Stein discrepancy) as its leading order contribution in the long-time and many-particle regime in the sense of $Γ$-convergence, shedding some light on the finite-particle properties of SVGD. Finally, we establish a comparison principle between the Stein-Fisher information and RKHS-norms that might be of independent interest.

研究の動機と目的

• 変分推論とマルコフ連鎖モンテカルロ法を、スティン変分勾配降下法（SVGD）を統一的枠組みとして分析することにより統一すること。
• SVGDの文脈において、勾配フロー構造と大偏差原理との間の対応を確立すること。
• 大偏差理論を用いて、SVGDの長時間および多数粒子漸近挙動を特徴づけること。
• 核化されたスティン不偏差（スティン・ファイシャー情報）が、大偏差関数の $γ$-収束極限における主要項として現れることを同定すること。
• スティン幾何における接空間構成を発展させ、SVGDダイナミクスの解析に寄与する基本的性質を証明すること。

提案手法

• SVGDの背後にあるリーマン的構造を解析するため、スティン幾何における接空間構成を構築する。
• SVGDの多数粒子極限における経験測度を支配する大偏差関数を導出する。
• $γ$-収束を用いて、大偏差率関数における主要項が核化されたスティン不偏差（スティン・ファイシャー情報）であることを示す。
• 決定的および確率的SVGDの両バージョンを、スティン幾何における勾配フローとして解析し、それぞれを変分推論とMCMCの枠組みと結びつける。
• 経験測度ダイナミクスに伊藤の補題を適用し、確率的SVGDプロセスの生成子を導出し、関連するフォッカー・プランク型方程式を導出する。
• スティン・ファイシャー情報とRKHSノルムとの間の比較原理を確立し、問題の幾何的構造に関する洞察を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 決定的および確率的SVGDの両バージョンは、勾配フローと大偏差原理を通じてどのように関連しているか？
• RQ2 SVGDの多数粒子極限における経験測度を支配する大偏差率関数は何か？
• RQ3 核化されたスティン不偏差（スティン・ファイシャー情報）は、長時間および多数粒子領域においてどのように主要項として現れるか？
• RQ4 接空間はスティン幾何において果たす役割は何か？ また、SVGDダイナミクスの解析をどのように支援するか？
• RQ5 スティン・ファイシャー情報とRKHSノルムは、幾何的および変分的性質の観点からどのように比較できるか？

主な発見

• 多数粒子SVGD極限における経験測度の大偏差関数が特徴づけられ、$γ$-収束の意味で核化されたスティン不偏差がその主要項として現れる。
• 決定的SVGDダイナミクスは、スティン幾何における勾配フローに対応し、大偏差率関数の$γ$-極限がスティン・ファイシャー情報であることが示された。
• 確率的SVGDのバージョンが、ターゲット分布が不変測度である拡散過程に対応することを示し、MCMC手法と結びついた。
• スティン・ファイシャー情報とRKHSノルムとの間の比較原理が確立され、ある変分的意味で前者が後者を支配することが示された。
• スティン幾何における接空間構成が厳密に発展され、SVGDの勾配フロー構造の解析を支援することが示された。
• 本稿は、SVGDの長時間および多数粒子領域における収束行動が核化されたスティン不偏差によって支配されることを確認し、ベイズ推論における応用の理論的基盤を提供した。