[論文レビュー] Neural Adaptive Sequential Monte Carlo

Shixiang Gu, Zoubin Ghahramani+1 more|arXiv (Cornell University)|Jun 10, 2015

Gaussian Processes and Bayesian Inference参考文献 23被引用数 44

ひとこと要約

本稿では、ニューラルネットワークを用いて、勾配ベースの最適化により順序モンテカルロ（SMC）の最適な提案分布を自動で学習する、ニューラル適応順序モンテカルロ（NASMC）を提案する。真の後方分布と提案分布の間の包括的Kullback-Leibler（KL）ダイバージェンスを確率的勾配降下法により最小化することで、非線形状態空間モデルにおける推論精度とパラメータ学習を著しく向上させるとともに、潜在変数をもつRNNの有効な学習を可能にし、既存の適応フィルターや最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Sequential Monte Carlo (SMC), or particle filtering, is a popular class of methods for sampling from an intractable target distribution using a sequence of simpler intermediate distributions. Like other importance sampling-based methods, performance is critically dependent on the proposal distribution: a bad proposal can lead to arbitrarily inaccurate estimates of the target distribution. This paper presents a new method for automatically adapting the proposal using an approximation of the Kullback-Leibler divergence between the true posterior and the proposal distribution. The method is very flexible, applicable to any parameterized proposal distribution and it supports online and batch variants. We use the new framework to adapt powerful proposal distributions with rich parameterizations based upon neural networks leading to Neural Adaptive Sequential Monte Carlo (NASMC). Experiments indicate that NASMC significantly improves inference in a non-linear state space model outperforming adaptive proposal methods including the Extended Kalman and Unscented Particle Filters. Experiments also indicate that improved inference translates into improved parameter learning when NASMC is used as a subroutine of Particle Marginal Metropolis Hastings. Finally we show that NASMC is able to train a latent variable recurrent neural network (LV-RNN) achieving results that compete with the state-of-the-art for polymorphic music modelling. NASMC can be seen as bridging the gap between adaptive SMC methods and the recent work in scalable, black-box variational inference.

研究の動機と目的

• SMC手法が劣悪な提案分布に極めて敏感であるという問題に対処すること。これは、推定の分散が大きくなり、性能が著しく低下する要因となる。
• ニューラルネットワークを用いて、提案分布を自動で適応させる柔軟でエンドツーエンドで学習可能なフレームワークを構築すること。
• 提案分布の品質を向上させることで、粒子周辺メトロポリス・ハスティングス（PMMH）における推論精度と混合性能を向上させること。
• SMCを用いて、再帰的ニューラルネットワークのような複雑な潜在変数モデルの有効な学習を可能にすること。
• ニューラルパラメータライゼーションと勾配ベース最適化を活用することで、適応的SMCとブラックボックス変分推論のギャップを埋めること。

提案手法

• 勾配ベース最適化を用いて、真の後方分布と提案分布の間の包括的Kullback-Leibler（KL）ダイバージェンスを最小化する。
• 微分可能なニューラルネットワークを提案分布のパラメータ化に用い、混合密度ネットワークを含む高容量の柔軟なモデルを可能にする。
• SMCアルゴリズムからのサンプルを用いてKLダイバージェンスの勾配を推定し、順序フィルタリングプロセス全体にわたり確率的バックプロパゲーションを可能にする。
• オンライン学習とバッチ学習の両方のバリアントをサポートし、逐次推論中に適応するか、後向きに再評価する形で適応可能である。
• 提案ネットワークは、SMCから得られる重要度重みを用いて確率的勾配降下法（例：Adamオプティマイザ）で学習される。
• 既存のSMCパイプラインにスムーズに統合可能であり、ベイズ的パラメータ学習のためのPMMHのサブルーチンとしても利用可能である。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを用いて、SMCにおける提案分布を効果的に適応的に改善できるか。その結果、より正確な後方分布近似が達成できるか。
• RQ2 NASMCは、EKPF や UPF といった確立された適応的SMC手法と比較して、推論精度と有効サンプルサイズの点でどの程度優れているか。
• RQ3 改善されたSMC推論が、パラメータ学習のための粒子周辺メトロポリス・ハスティングス（PMMH）における混合性能と収束性をどの程度向上させるか。
• RQ4 NASMCは、LV-RNNのような複雑な潜在変数モデルを、最先端の手法と同等の性能で学習可能か。
• RQ5 変分推論で用いられる排他的KLダイバージェンスと比較して、SMCにおける包括的KLダイバージェンスを用いることで、どのような影響が生じるか。

主な発見

• NASMCは、標準的なSMCベンチマークにおいて、ブートストラップフィルターやEKPF、UPFといった適応手法を著しく上回り、特に非線形状態空間モデルにおいて顕著な性能向上を示した。
• JSBChoralesデータセットでは、NASMCが負の対数尤度3.99を達成し、ブートストラップフィルター（4.26）を上回り、他の最先端モデルと同等またはそれを上回った。
• PMMHにおける混合性能が向上し、バーンイン期間が短縮された。これは、より良い提案分布が、より効率的なベイズ的パラメータ学習を可能にすることを示している。
• NASMCは、潜在変数RNN（LV-RNN）の有効な学習を可能にし、音楽生成タスクにおいて競争力ある結果を達成した。特に、piano-midi-deデータセットではテストセットのNLLが7.61を記録した。
• 深層ニューラルネットワークを提案分布に用いる高次元かつ複雑なモデルに対しても、本フレームワークは正常に処理でき、従来の粒子フィルタでは取り扱えないモデルに対しても有効であった。
• 実験の結果、SMCにおける包括的KLダイバージェンスの使用に加え、SMCベースの勾配推定を組み合わせることで、順序設定において変分自由エネルギー法よりもよりロバストで正確な後方分布近似が得られることを示した。