[論文レビュー] Variational Particle Approximations

Ardavan Saeedi, Tejas D. Kulkarni+2 more|arXiv (Cornell University)|Feb 24, 2014

Bayesian Methods and Mixture Models参考文献 20被引用数 11

ひとこと要約

この論文は、KLダイバージェンスを最小化するように最適に選択された粒子を用いる決定論的で粒子ベースの変分推論手法である離散粒子変分推論（DPVI）を導入する。DPVIは、モンテカルロ法、変分推論、探索ベース手法の長所を統合し、より少ない粒子数で優れた精度を達成し、劣化を回避し、マルチモーダルで構造的なモデル（イジングモデルやHMMなど）において、パーティクルフィルタリング、MCMC、平均場法を凌駕する。

ABSTRACT

Approximate inference in high-dimensional, discrete probabilistic models is a central problem in computational statistics and machine learning. This paper describes discrete particle variational inference (DPVI), a new approach that combines key strengths of Monte Carlo, variational and search-based techniques. DPVI is based on a novel family of particle-based variational approximations that can be fit using simple, fast, deterministic search techniques. Like Monte Carlo, DPVI can handle multiple modes, and yields exact results in a well-defined limit. Like unstructured mean-field, DPVI is based on optimizing a lower bound on the partition function; when this quantity is not of intrinsic interest, it facilitates convergence assessment and debugging. Like both Monte Carlo and combinatorial search, DPVI can take advantage of factorization, sequential structure, and custom search operators. This paper defines DPVI particle-based approximation family and partition function lower bounds, along with the sequential DPVI and local DPVI algorithm templates for optimizing them. DPVI is illustrated and evaluated via experiments on lattice Markov Random Fields, nonparametric Bayesian mixtures and block-models, and parametric as well as non-parametric hidden Markov models. Results include applications to real-world spike-sorting and relational modeling problems, and show that DPVI can offer appealing time/accuracy trade-offs as compared to multiple alternatives.

研究の動機と目的

• 高次元でマルチモーダルな離散モデルにおけるモンテカルロ法と変分推論の限界を解消すること。
• 粒子の劣化を回避し、モンテカルロの分散を低減する粒子ベースの変分近似を構築すること。
• モンテカルロの柔軟性と、変分推論の収束保証性および効率性を統合すること。
• マークフ・ネットワーク や隠れマルコフモデルなどの複雑な構造を持つモデルにおける効果的な推論を可能にすること。
• 再サンプリングの確率的処理に代わる決定論的代替手法として、粒子の多様性と高確率状態を維持するものであること。

提案手法

• DPVIは、近似分布と真の後確率分布の間のKLダイバージェンスを最小化する粒子ベースの変分近似族を定式化する。
• 対数パーティション関数の下界を最適化することで、粒子配置を段階的に改善する座標昇下更新を用いる。
• 高確率領域をカバーするが、単一のモードに収束しないように、決定論的探索を用いて粒子を選択する。
• グラフィカルモデルにおける要因分解と逐次構造を活用し、大規模モデルへの効率的スケーリングを実現する。
• カスタム探索オペレータをサポートし、逐次的または局所的最適化テンプレートを介して適用可能である。
• 標準的なパーティクルフィルタリングとは異なり、再重み付けや再サンプリングを必要とせず、提案密度に依存しないため分散が低減される。

実験結果

リサーチクエスチョン

• RQ1 決定論的粒子選択戦略は、マルチモーダルな離散分布において確率的サンプリングを上回ることができるか？
• RQ2 構造的モデルにおける精度と収束性の観点から、DPVIは平均場変分推論やパーティクルフィルタリングをどのように上回るか？
• RQ3 標準的なパーティクルフィルタリングとは異なり、再サンプリングを必要としないにもかかわらず、DPVIは粒子の多様性を維持し、劣化を回避できるか？
• RQ4 モンテカルロ法に比べ、DPVIはより少ない粒子数で高い精度を達成できるか、その程度はどの程度か？
• RQ5 非パラメトリックベイズ混合モデルや隠れマルコフモデルのような複雑なモデルへ、DPVIはどの程度スケーリング可能か？

主な発見

• 無限個の粒子の極限において、DPVIは理論的収束性を示すモンテカルロ法と一致する正確な結果を達成した。
• イジングモデルでは、2つの粒子でのDPVIが両方のモードを完璧に捉えたが、平均場法やループ付き信念伝搬法では失敗した。
• イジングモデルにおいて、特に結合定数が強い場合に、DPVIは平均場法よりも明確に正のマージンで対数パーティション関数の下界を上回った。
• スパイク・ソーティングおよび関係モデリングタスクにおいて、DPVIは複数の代替手法と比較して、時間と精度のトレードオフに優れた結果を示した。
• 再サンプリングの微調整が必要ないにもかかわらず、DPVIは粒子の劣化を回避し、高確率かつ多様な粒子を維持した。
• パラメトリックおよび非パラメトリックモデル、特に格子MRFやブロックモデルにおいて、一貫した収束性と低分散を示し、強固な性能を発揮した。