[論文レビュー] Auto-Encoding Sequential Monte Carlo

Tuan Anh Le, Maximilian Igl+3 more|arXiv (Cornell University)|May 29, 2017

Topic Modeling参考文献 35被引用数 30

ひとこと要約

本稿では、周辺尤度の推定に低分散な重要度サンプリングよりも優れた順序付きモンテカルロ法（SMC）を用いた、深層生成モデルにおける同時モデルおよび提案分布学習のための自動符号化順序付きモンテカルロ（AESMC）を提案する。本稿では、更新の分離により性能を向上させる新たな学習手順「交互ELBO（alternating ELBOs）」を提案し、構造的時系列データにおいてIWAEや標準AESMCと比較して優れた性能を示す。

ABSTRACT

We build on auto-encoding sequential Monte Carlo (AESMC): a method for model and proposal learning based on maximizing the lower bound to the log marginal likelihood in a broad family of structured probabilistic models. Our approach relies on the efficiency of sequential Monte Carlo (SMC) for performing inference in structured probabilistic models and the flexibility of deep neural networks to model complex conditional probability distributions. We develop additional theoretical insights and introduce a new training procedure which improves both model and proposal learning. We demonstrate that our approach provides a fast, easy-to-implement and scalable means for simultaneous model learning and proposal adaptation in deep generative models.

研究の動機と目的

• 変分推論における重要度サンプリングの限界を克服するため、より正確な周辺尤度推定を実現する順序付きモンテカルロ（SMC）を活用すること。
• 特に時系列データに対して、構造的確率的モデルにおけるモデル学習と提案分布の適応を両方向上させること。
• 拡張されたサンプリング空間上の分布間のカルバック・ライブラー発散として、証拠下限界（ELBO）の差を表現することにより、ELBOに関する理論的洞察を提供すること。
• モデルと提案分布の更新を分離することで、過度にタイトな境界による性能劣化を緩和する、新たな学習手順「交互ELBO（alternating ELBOs）」を提案・評価すること。
• 低分散推定器が提案学習に悪影響を及える可能性があることを示し、よりタイトな境界が常に性能向上をもたらすという仮定に疑問を呈すること。

提案手法

• 従来のVAEやIWAEにおける重要度サンプリングに代わり、SMCに基づく周辺尤度推定を用いた新たなELBOを定式化すること。
• 再パrameter化トリックを用いた確率的勾配上昇（SGA）により、モデルパラメータおよび提案パラメータの両方をELBO最適化する。
• 拡張されたサンプリング空間上の分布間のカルバック・ライブラー発散としてELBOギャップを表現する理論的枠組みを導入すること。
• ELBOギャップがゼロ（すなわち、完全な推論）に達する条件を導出し、AESMCでは中間のSMCターゲット分布の学習が必須であることを示すこと。
• モデルパラメータと提案パラメータの更新に異なるELBO目的関数を用いることで、安定性と性能を向上させる「交互ELBO」法を提案すること。
• 時系列データのための生成モデルおよび提案モデルとして、変分再帰ニューラルネットワーク（VRNN）を用いて手法を実装すること。

実験結果

リサーチクエスチョン

• RQ1 SMCに基づく周辺尤度推定は、構造的確率的モデルにおいて重要度サンプリングよりも優れたモデル学習を実現できるか？
• RQ2 AESMCにおいてELBOギャップがゼロのカルバック・ライブラー発散を達成した場合、IWAEと比較して理論的意味は何か？
• RQ3 低分散SMC推定器を用いることは常に提案学習を向上させるのか、あるいは逆効果を及える可能性があるか？
• RQ4 交互ELBOによるモデルと提案分布の更新の分離は、学習の安定性と性能向上をもたらすか？
• RQ5 提案手法は、構造的時系列生成タスクにおいて、IWAEおよび標準AESMCと比較してどのように異なるか？

主な発見

• AESMCは、構造的時系列データにおける再構成および予測タスクにおいてIWAEを上回り、40個の粒子を用いた場合にELBOが-356.1と、IWAEの-356.2よりも良好である。
• 交互ELBO法は、一部の状況で訓練の安定性と性能を向上させ、移動エージェントタスクにおいて標準AESMCおよびIWAEを上回った。
• 低分散SMC推定器を用いることは提案学習に悪影響を及える可能性があり、よりタイトな境界が最適化プロセスを誤導する可能性がある。
• 理論的分析により、AESMCにおけるELBOの完全最適化には、事後分布に加え、中間のSMCターゲット分布の学習が必要であることが示された。
• AESMCにおけるELBOギャップは、拡張空間上のカルバック・ライブラー発散として表現可能であり、収束行動および最適化ダイナミクスの深い洞察を可能にした。
• 実験的結果により、40個の粒子を用いたAESMCは、40個の粒子を用いたIWAEよりも優れたELBOを達成しており、SMCの低分散性に起因するより良いモデル学習とタイトな境界が実現されたことが確認された。