[論文レビュー] Particle Optimization in Stochastic Gradient MCMC

Changyou Chen, Ruiyi Zhang|arXiv (Cornell University)|Nov 29, 2017

Markov Chains and Monte Carlo Methods参考文献 20被引用数 8

ひとこと要約

本稿では、逐次的なマルコフ連鎖モンテカルロ法によるサンプリングではなく、勾配に基づく最適化によって粒子を進化させることで、サンプル品質を直接的に向上させる、確率的勾配MCMC（SG-MCMC）のための新規な粒子最適化フレームワークを提案する。この手法はFokker-Planck方程式を再定式化し、運動量付きのスティン変分勾配降下法（SVGD）と関連づけ、ロジスティック回帰タスクにおいて標準的なSVG Dよりも高速な収束を実証的に示している。

ABSTRACT

Stochastic gradient Markov chain Monte Carlo (SG-MCMC) has been increasingly popular in Bayesian learning due to its ability to deal with large data. A standard SG-MCMC algorithm simulates samples from a discretized-time Markov chain to approximate a target distribution. However, the samples are typically highly correlated due to the sequential generation process, an undesired property in SG-MCMC. In contrary, Stein variational gradient descent (SVGD) directly optimizes a set of particles, and it is able to approximate a target distribution with much fewer samples. In this paper, we propose a novel method to directly optimize particles (or samples) in SG-MCMC from scratch. Specifically, we propose efficient methods to solve the corresponding Fokker-Planck equation on the space of probability distributions, whose solution (i.e., a distribution) is approximated by particles. Through our framework, we are able to show connections of SG-MCMC to SVGD, as well as the seemly unrelated generative-adversarial-net framework. Under certain relaxations, particle optimization in SG-MCMC can be interpreted as an extension of standard SVGD with momentum.

研究の動機と目的

• 有限サンプル制約下で性能が低下する、逐次的サンプリングに起因する高相関サンプル問題を解決する。
• 固定された粒子集合を直接最適化することで、ターゲット事後分布をよりよく近似するよう、ベイズ推論におけるサンプル品質を向上させる。
• SG-MCMCと粒子ベースの手法（特にSVGD）との間の理論的・アルゴリズム的関連性を、Fokker-Planckダイナミクスの観点から確立する。
• Polyakの運動量にインspされた、SG-MCMCにおける運動量強化型粒子更新のフレームワークを開発する。
• ハイパーパrameterチューニングなしで、テスト精度および対数尤度の観点から、粒子最適化されたSG-MCMCが標準的なSVG Dよりも収束が速いことを実証的に示す。

提案手法

• SG-MCMCにおける確率分布の時間発展を支配するFokker-Planck方程式を、粒子近似に基づく変分最適化問題に再定式化する。
• 粒子集合を用いてターゲット分布を近似する。その表現はディラックデルタ関数の混合として与えられる：$\tilde{\rho}_k \approx \frac{1}{M}\sum_{i=1}^M \delta_{{\bm{\theta}}_i^{(k)}}$。
• 2次 Wasserstein 距離の上界を最小化することで、粒子に対する勾配ベースの更新則を導出する。
• 粒子更新にPolyakの運動量を組み込み、ノイズ付き勾配と運動量を併せ持つSVG Dと同等の形式を得る。
• 核ベースの勾配推定子 $\hat{\phi}^*({\bm{\theta}}_i^{(\ell)})$ を用い、核勾配と対数密度勾配を組み合わせて粒子の進化を誘導する。
• 実際の最適化を安定化させるために、Wasserstein 距離の上界に0.1のスケーリング係数を適用する。

実験結果

リサーチクエスチョン

• RQ1 固定された粒子数のもとで、粒子ベースの最適化はSG-MCMCが生成するサンプルの品質を向上させ得るか？
• RQ2 提案された粒子最適化フレームワークは、SVG D や運動量付き最適化といった既存手法とどのように関連しているか？
• RQ3 SG-MCMCのFokker-Planck方程式を、粒子集合に関する変分最適化問題として再解釈できるか？
• RQ4 粒子最適化されたSG-MCMCは、標準的なSVG Dに比べて理論的・実証的にどの程度の性能向上を示すか？
• RQ5 SG-MCMCにおける粒子更新に運動量を組み込むことで、収束が速くなるか？また、標準最適化におけるPolyakの運動量と比較してどうなるか？

主な発見

• 提案されたSG-MCMCにおける粒子最適化手法は、ハイパーパrameterチューニングなしで、ロジスティック回帰ベンチマークにおいて、テスト精度およびテスト対数尤度の両面で標準的なSVG Dよりも高速な収束を達成している。
• Fokker-Planckの変分定式化から導出された粒子更新則は、ノイズ付き勾配とPolyakの運動量を併せ持つSVG Dと数学的に同等であり、SG-MCMCとSVG Dとの間の新しい理論的関連性を確立している。
• この手法は、ターゲット分布への2次 Wasserstein 距離の上界を最小化するように粒子位置を直接最適化することで、逐次的SG-MCMCサンプリングよりも優れたサンプル品質を実現している。
• 実証的結果から、粒子最適化されたSG-MCMCは初期学習段階で標準的なSVG Dを上回り、サンプル効率の向上が示されている。
• このフレームワークは、SG-MCMCを運動量強化型粒子最適化手法として再解釈する新たな視点を提供し、SG-MCMCとSVG Dの両分野の適用範囲を拡張している。
• 本手法は、SG-MCMCにおける粒子を完全から最適化する初めての試みであり、有限サンプル制約下で優れたサンプル品質を実現するスケーラブルなベイズ推論の新たなパラダイムを提供している。