[論文レビュー] Particle Smoothing Variational Objectives

Antonio Khalil Moretti, Zizhao Wang+3 more|arXiv (Cornell University)|Sep 20, 2019

Gaussian Processes and Bayesian Inference参考文献 19被引用数 7

ひとこと要約

本稿では、粒子多様性と提案分布のサポートを向上させることで、非線形ステートスケールモデルにおける変分推論を改善する、新しい後向きサンプリング SMC 法である粒子スムージング変分目的（SVO）を提案する。SVO は、サンプル数 K を増加させても信号対雑音比（SNR）の低下が生じにくくなる偏りのある勾配推定器を用いることで、フィルタリング目的よりも少ないモンテカルロサンプル数で優れた性能を達成する。

ABSTRACT

A body of recent work has focused on constructing a variational family of filtered distributions using Sequential Monte Carlo (SMC). Inspired by this work, we introduce Particle Smoothing Variational Objectives (SVO), a novel backward simulation technique and smoothed approximate posterior defined through a subsampling process. SVO augments support of the proposal and boosts particle diversity. Recent literature argues that increasing the number of samples K to obtain tighter variational bounds may hurt the proposal learning, due to a signal-to-noise ratio (SNR) of gradient estimators decreasing at the rate $\mathcal{O}(1/\sqrt{K})$. As a second contribution, we develop theoretical and empirical analysis of the SNR in filtering SMC, which motivates our choice of biased gradient estimators. We prove that introducing bias by dropping Categorical terms from the gradient estimate or using Gumbel-Softmax mitigates the adverse effect on the SNR. We apply SVO to three nonlinear latent dynamics tasks and provide statistics to rigorously quantify the predictions of filtered and smoothed objectives. SVO consistently outperforms filtered objectives when given fewer Monte Carlo samples on three nonlinear systems of increasing complexity.

研究の動機と目的

• モンテカルロサンプル数 K を増加させることで学習性能が低下する非線形動的システムにおける、フィルタリング変分目的の限界を是正すること。
• 全観測系列に条件づけたスムージングされた変分目的を構築し、事後分布の近似精度と予測精度を向上させること。
• フィルタリング SMC における勾配推定器の SNR を分析し、リサンプリングおよびカテゴリカル再パラメトリゼーションの影響を評価すること。
• 粒子多様性を高め、より表現力のある変分近似を可能にする、新しい後向きサンプリングアルゴリズムの提案と検証すること。

提案手法

• 全観測系列に条件づけた潜在状態のスムージング事後分布を構築するための再帰的後向きサンプリングアルゴリズムを提案する。
• 提案分布のサポートを拡張し、変分族内の粒子多様性を向上させるためのサブサンプリングプロセスを導入する。
• 分散を低減し、学習を安定化させるために、カテゴリカル項を省略するか、Gumbel-Softmax リラクゼーションを用いることで偏りのある勾配推定器を採用する。
• 理論的分析により、リサンプリングステップのおかげでフィルタリング SMC では SNR の低下が生じないことが証明され、偏りのある推定器の使用が正当化される。
• ターゲットネットワークと推論ネットワークに別々の進化ネットワークを用いることで、学習の安定性と性能を向上させる。
• Lorenzアトラクタや神経生理学的データを含む非線形システムに SVO を適用し、予測精度と ELBO スコアを評価する。

実験結果

リサーチクエスチョン

• RQ1 後向きサンプリング SMC 法は、標準的なフィルタリング手法と比較して、非線形ステートスケールモデルにおける変分推論を改善できるか？
• RQ2 粒子数 K を増加させた際、フィルタリング SMC における勾配推定器の信号対雑音比（SNR）はどのように変化するか？
• RQ3 カテゴリカル項を省略する、または Gumbel-Softmax を用いるなど、勾配推定器に偏りを導入することで、SMC に基づく VI における SNR の向上と学習の安定性が向上するか？
• RQ4 フィルタリング目的と比較して、より少ないモンテカルロサンプル数を用いた場合、SVO は予測性能と ELBO 値をどの程度向上させるか？
• RQ5 限られた粒子数で、SVO はカオス的システムや生物学的神経データのような複雑な非線形ダイナミクスを効果的にモデル化できるか？

主な発見

• SVO は、K=2 のわずかな粒子数ですら、AESMC や GfLDS（K=256 を使用）よりも ELBO と予測精度で一貫して優れている。
• Lorenzアトラクタにおいて、SVO は K=2 かつ M=2 で、K=256 を使用する AESMC よりも高い R² スコアを達成し、優れたサンプル効率を示している。
• 神経生理学的データにおいて、SVO は超極化や去分極といった非線形ダイナミクスを正確に捉えており、予測 R² において GfLDS や AESMC を上回っている。
• 実験的 SNR 分析から、不偏なカテゴリカル勾配推定器は K の増加に伴い高い分散と SNR の低下を示す一方、偏りのある推定器（例：固定 λ の Gumbel-Softmax）は安定した SNR を維持している。
• 理論的分析により、リサンプリングステップのおかげでフィルタリング SMC では SNR の低下が生じないことが確認され、偏りのある推定器の使用が正当化された。
• 提案ネットワークとターゲットネットワークに別々の進化ネットワークを用いることで、特に K が小さい場合に、共有ネットワークよりも性能が向上している。