[論文レビュー] Stein Variational Gradient Descent as Gradient Flow

Qiang Liu|arXiv (Cornell University)|Apr 25, 2017

Markov Chains and Monte Carlo Methods参考文献 13被引用数 47

ひとこと要約

本稿は、粒子の経験的測度がターゲット分布に弱収束することを示すことにより、Stein Variational Gradient Descent (SVGD) の最初の理論的分析を確立する。SVG Dのダイナミクスが非線形Vlasov方程式に従うことが明らかになり、SVGDはStein作用素によって誘導される新しいリーマン型計量の下でKL発散の勾配流として解釈される。

ABSTRACT

Stein variational gradient descent (SVGD) is a deterministic sampling algorithm that iteratively transports a set of particles to approximate given distributions, based on an efficient gradient-based update that guarantees to optimally decrease the KL divergence within a function space. This paper develops the first theoretical analysis on SVGD, discussing its weak convergence properties and showing that its asymptotic behavior is captured by a gradient flow of the KL divergence functional under a new metric structure induced by Stein operator. We also provide a number of results on Stein operator and Stein's identity using the notion of weak derivative, including a new proof of the distinguishability of Stein discrepancy under weak conditions.

研究の動機と目的

• Stein Variational Gradient Descent (SVGD) の最初の厳密な理論的分析を提供すること。SVGDは決定的で粒子ベースのサンプリング手法である。
• 粒子数を増加させた際に、SVG D粒子の経験的測度がターゲット分布に弱収束することを確立すること。
• 物理学におけるVlasov方程式として知られる非線形Fokker-Planck方程式を用いて、SVG Dの漸近的挙動を特徴づけること。
• 確率測度の空間上に新しいリーマン型計量構造を導入し、SVG DをKL発散関数の勾配流として幾何学的に解釈すること。
• SVG DとStein法との関係を形式化し、最適な速度場がStein不一致を介してKL発散の勾配を最大化することを示すこと。

提案手法

• 再現核ヒルバート空間（RKHS）における単位ノルム制約の下で、KL発散の負の微分を最大化する関数的最適化問題としてSVG Dを形式化する。
• Stein作用素を用いてKL発散の勾配を導出し、降下方向が速度場に作用したStein作用素の期待値によって決定されることを示す。
• 経験的粒子分布とターゲット分布の間の不一致を測る指標としてStein不一致を導入し、分布が等しい場合に限りゼロに収束することを示す。
• 粒子系の時間発展をVlasov型方程式でモデル化し、粒子数を無限大に近づける極限として得られる。
• KL発散関数の勾配流としてSVG Dを解釈する幾何的枠組みを構築し、Stein作用素とRKHSノルムによって誘導されるリーマン計量の下で定式化する。
• 変分法と無限小のプッシュフォワードを用いて、粒子密度の時間発展を記述するFokker-Planck方程式を導出し、流れが最適速度場の発散によって駆動されることを示す。

実験結果

リサーチクエスチョン

• RQ1 粒子数を増加させた際に、SVG D粒子の経験的測度はターゲット分布に弱収束するか？
• RQ2 SVG D粒子系の連続時間極限ダイナミクスは何か？ そして、偏微分方程式でどのように記述できるか？
• RQ3 SVG Dは確率測度の空間上の幾何的構造の下でKL発散の勾配流として解釈できるか？
• RQ4 SVG Dにおける最適速度場は、Stein作用素とRKHSノルムとどのように関係しているか？
• RQ5 Vlasov方程式とFokker-Planck方程式の間には、SVG Dダイナミクスの文脈でどのような関係があるか？

主な発見

• 粒子数が無限大に近づくにつれて、SVG D粒子の経験的測度はターゲット分布に弱収束する。
• SVG Dの漸近的ダイナミクスは非線形Vlasov方程式に従い、これは粒子系の時間発展の連続極限として生じる。
• 本稿では、Stein作用素とRKHSノルムによって誘導されるリーマン計量構造の下で、SVG DがKL発散関数の勾配流に等価であることを確立する。
• SVG Dにおける最適速度場はKL発散の降下を最大化し、Stein不一致を含む関数的最適化問題の解として導出される。
• 粒子密度の時間発展を記述するFokker-Planck方程式は、プッシュフォワード写像の極限として導出され、密度が最適速度場の発散に従って進化することを示す。
• KL発散は微分同相写像によるプッシュフォワードに関して不変であり、これはSVG Dが測度の空間上の流れとして幾何学的に解釈できることを支持する。