[論文レビュー] Stochastic Gradient MCMC with Repulsive Forces

Víctor Gallego, David Rı́os Insua|arXiv (Cornell University)|Nov 30, 2018

Markov Chains and Monte Carlo Methods参考文献 24被引用数 26

ひとこと要約

本稿では、SGLD+Rと呼ばれる新しい確率的勾配MCMC手法を提案する。この手法は、粒子間に反発力を取り入れることで、Stochastic Gradient Markov Chain Monte Carlo (SG-MCMC) と Stein Variational Gradient Descent (SVGD) を統合する。粒子の反発とノイズの注入を組み合わせることで、探索性が向上し、粒子の凝集を回避し、真の事後分布への収束を保証する。合成データおよび実世界のベイジアンニューラルネットワークタスクにおいて、有効サンプルサイズと予測性能の向上が実証された。

ABSTRACT

We propose a unifying view of two different Bayesian inference algorithms, Stochastic Gradient Markov Chain Monte Carlo (SG-MCMC) and Stein Variational Gradient Descent (SVGD), leading to improved and efficient novel sampling schemes. We show that SVGD combined with a noise term can be framed as a multiple chain SG-MCMC method. Instead of treating each parallel chain independently from others, our proposed algorithm implements a repulsive force between particles, avoiding collapse and facilitating a better exploration of the parameter space. We also show how the addition of this noise term is necessary to obtain a valid SG-MCMC sampler, a significant difference with SVGD. Experiments with both synthetic distributions and real datasets illustrate the benefits of the proposed scheme.

研究の動機と目的

• 粒子の凝集と混合の悪さという、標準的なSG-MCMCとSVGDの限界を解決する。
• SG-MCMCとSVGDを統合したフレームワークを構築し、SG-MCMCのスケーラビリティを維持すると同時に、SVGDの粒子反発を組み込む。
• ノイズ項を追加することで真の事後分布への収束を保証する。これは、純粋なSVGDにはこの性質がないため、本手法と区別される。
• 大規模なベイジアン推論、特に深層モデルや高次元パrameter空間において適したスケーラブルで効率的なサンプリング手法を開発する。
• 合成データおよび実データセットにおいて、SGLDおよびSVGDに比べて有効サンプルサイズと予測精度の面で優れた性能を示すことを実証する。

提案手法

• SVGDのカーネルベース勾配を用いて粒子間に反発力を導入することで、SGLDを拡張したハイブリッドサンプラーSGLD+Rを提案する。
• 詳細なバランスを満たし、真の事後分布への収束を保証するため、粒子更新ルールにノイズ項を導入する。これは、SVGDとは異なり、本手法ではこの性質を持つ。
• 粒子が反発カーネルを通じて相互作用する複数のチェーンからなるSG-MCMCとしてアルゴリズムを定式化し、探索性を向上させ、劣化を低減する。
• Fokker-Planck方程式を用いてSGLD+Rのダイナミクスを形式的に分析し、SVGDと対比する。その結果、有効なSG-MCMCサンプラーの条件を満たすのはSGLD+Rのみであることが示された。
• スケーラビリティを確保するため、反発力にRBFカーネルを用い、ミニバッチ勾配を適用する。
• 標準的なトレーニングプロトコルに従い、バーンイン後10イテレーションごとにサンプルを収集し、1回の実行で20個の粒子を用いてベイジアンニューラルネットワークに適用する。

実験結果

リサーチクエスチョン

• RQ1 SG-MCMCとSVGDの組み合わせは、大規模なベイジアン推論においてより効率的かつ正確なサンプリング手法を生み出せるか？
• RQ2 粒子間の反発力の追加は、SG-MCMCにおける混合時間と探索性にどのように影響するか？
• RQ3 このようなハイブリッド手法において、ノイズ項の導入が真の事後分布への収束を保証するためになぜ不可欠なのか？
• RQ4 提案手法は、実世界のデータセットにおいて、標準的なSGLDおよびSVGDに比べて有効サンプルサイズと予測精度の面で優れているか？
• RQ5 高次元パrameter空間における粒子の凝集と事後分布近似の質に、粒子反発がどのように影響するか？

主な発見

• MoE分布において、Xの期待値の推定誤差はSGLDと比較して62％低減され、0.14（SGLD+R）対0.39（SGLD）となった。
• MoG分布において、E[X]の誤差は1.42から1.19に低下し、精度の向上が確認された。
• ボストン住宅データセットでは、SGLD+Rによりテストログ尤度が-2.551から-2.575に改善され、RMSEは2.392から2.295に低下した。
• Navalデータセットでは、ログ尤度が3.428（SGLD+R）対3.379（SGLD）に改善され、RMSEは0.008対0.008であり、分散の著しい低減が見られた。
• Proteinデータセットでは、ログ尤度が-2.991から-2.987に改善され、RMSEは4.810から4.794に低下し、全指標で一貫した向上が確認された。
• 最終半分のトレーニングで反発を無効化しても高い性能を維持したため、反発は主に初期探索段階で重要であることが示された。