[論文レビュー] A Non-Asymptotic Analysis for Stein Variational Gradient Descent

Anna Korba, Adil Salim+3 more|arXiv (Cornell University)|Jun 17, 2020

Markov Chains and Monte Carlo Methods参考文献 35被引用数 15

ひとこと要約

本稿は、無限粒子系における平均ステインフィッシャー分散（カーネルステイン不一致）の非漸近的解析を提示し、降下補題と収束速度を確立する。さらに、有限粒子数における混沌の伝播バウンドを提供し、カーネルおよびポテンシャルの正則性仮定の下で、経験的粒子分布とその母集団極限との乖離を定量的に評価する。

ABSTRACT

We study the Stein Variational Gradient Descent (SVGD) algorithm, which optimises a set of particles to approximate a target probability distribution $π\propto e^{-V}$ on $\mathbb{R}^d$. In the population limit, SVGD performs gradient descent in the space of probability distributions on the KL divergence with respect to $π$, where the gradient is smoothed through a kernel integral operator. In this paper, we provide a novel finite time analysis for the SVGD algorithm. We provide a descent lemma establishing that the algorithm decreases the objective at each iteration, and rates of convergence for the average Stein Fisher divergence (also referred to as Kernel Stein Discrepancy). We also provide a convergence result of the finite particle system corresponding to the practical implementation of SVGD to its population version.

研究の動機と目的

• 既存の文献にない定量的収束速度を備えた、有限時間におけるSVG Dの非漸近的解析を提供すること。
• 母集団極限における定数ステップサイズを用いた反復で、SVG Dが目的関数を各ステップで減少させることを示す降下補題を確立すること。
• 無限粒子系における平均ステインフィッシャー分散（カーネルステイン不一致）の収束速度を導出すること。
• 経験的粒子分布とその母集団レベルの対応物との乖離を、混沌の伝播バウンドによって定量的に評価すること。
• 有限粒子数を用いた実用的SVG D実装の収束挙動を理解するための理論的基盤を構築すること。

提案手法

• Kullback-Leibler 散発を目的関数として、Wasserstein空間における確率測度の空間における勾配降下としてSVG Dを定式化する。
• Wasserstein距離を備えた確率測度の空間における最適化技法を適用し、降下補題を導出する。
• 勾配方向を滑らかにするためにカーネル積分作用素を用い、再生成核ヒルベルト空間（RKHS）の単位球内での降下を制限する。
• Jourdainら（2007）の手法を用いて、経験的粒子分布とその母集団レベルの対応物との関係を特定し、混沌の伝播バウンドを導出する。
• 安定性と収束を保証するため、ポテンシャル関数 $V$ およびカーネル $k$ にリプシッツ連続性と有界性を含む正則性条件を課す。
• 連続時間ダイナミクスと離散時間反復の両方を分析し、有限粒子分布と母集団分布との間のWasserstein距離に明示的なバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズを用いた無限粒子系におけるSVG Dに対して、非漸近的降下補題を確立できるか？
• RQ2 母集団極限における平均ステインフィッシャー分散（カーネルステイン不一致）の収束速度は何か？
• RQ3 有限粒子数の経験的分布は、時間の経過とともに母集団レベルの対応物からどれほど乖離するか？
• RQ4 SVG D粒子系に対して、時間に一様な混沌の伝播バウンドを導出できるか？
• RQ5 粒子数 $N$ と反復回数 $n$ がともに増加する際、有限粒子数SVG D系がどのようにしてターゲット分布 $\pi$ に収束するかの条件は何か？

主な発見

• 無限粒子系におけるSVG Dに対して降下補題が確立され、定数ステップサイズを用いた各反復で目的関数が減少することが示された。
• 平均ステインフィッシャー分散（カーネルステイン不一致）の収束速度が提供され、不一致が時間とともにゼロに減少することを定量的に評価した。
• 混沌の伝播バウンドが導出され、$\mathbb{E}[W_2^2(\mu_n, \hat{\mu}_n)] \leq \frac{1}{2}\left(\frac{1}{\sqrt{N}}\sqrt{\text{var}(\mu_0)}e^{LT}\right)(e^{2LT}-1)$ が成り立つことが示された。ここで $L$ はカーネルとターゲット分布に依存する。
• バウンドは粒子数 $N$、時間区間 $T$、初期分散に依存するが、時間に一様な減衰を含まないため、非一様な混沌の伝播を示している。
• 結果は非漸近的であり、粒子数、反復回数、近似誤差の間のトレードオフを明示的に定量化している。
• 解析により、未解決の問題が同定され、特に凸性または対数ソボレフ条件の下で、KL発散の収束速度および時間に一様な混沌の伝播バウンドの導出が課題として残っている。