[論文レビュー] Filtering Variational Objectives

Chris J. Maddison, Dieterich Lawson+6 more|arXiv (Cornell University)|May 25, 2017

Gaussian Processes and Bayesian Inference参考文献 53被引用数 3

ひとこと要約

この論文は、周辺尤度のパーティクルフィルターベース推定を活用することで、逐次的潜在変数モデルにおける最尤推定のよりタイトな下界を提供する、フィルタリング変分目的関数（FIVOs）の族を導入する。FIVOは、音楽モデリングやTIMIT音声データセットにおける深層生成モデルの学習において、ELBO や IWAE を上回り、より高い対数尤度と改善された変分後退化の質を達成する。

ABSTRACT

When used as a surrogate objective for maximum likelihood estimation in latent variable models, the evidence lower bound (ELBO) produces state-of-the-art results. Inspired by this, we consider the extension of the ELBO to a family of lower bounds defined by a particle filter's estimator of the marginal likelihood, the filtering variational objectives (FIVOs). FIVOs take the same arguments as the ELBO, but can exploit a model's sequential structure to form tighter bounds. We present results that relate the tightness of FIVO's bound to the variance of the particle filter's estimator by considering the generic case of bounds defined as log-transformed likelihood estimators. Experimentally, we show that training with FIVO results in substantial improvements over training the same model architecture with the ELBO on sequential data.

研究の動機と目的

• 逐次モデルにおける複雑な後退化依存関係を捉えることに失敗する Evidence Lower Bound (ELBO) の制限を解決すること。
• 逐次構造を持つモデルにおける最尤推定のための変分下界のタイトさを向上させること。
• ELBO や IWAE よりもタイトな下界をもたらす、新たな目的関数のクラス—フィルタリング変分目的関数（FIVOs）—を考案すること。
• パーティクルフィルタ推定器の分散と得られる変分下界のタイトさの関係を調査すること。
• FIVOが逐次データにおいて、後退化の抑制とより高い対数尤度を実現するという、実証的な優位性を示すこと。

提案手法

• FIVOs を、パーティクルフィルタの周辺尤度推定器の対数として定義し、真の対数尤度の下界を形成する。
• 逐次的重要性サンプリングとリサンプリングを用いて、周辺尤度を効率的に推定するパーティクルフィルタを構築する。
• FIVO を、周辺尤度の不偏推定器の対数に基づくモンテカルロ目的関数（MCO）として定式化する。
• 不偏勾配推定器（特にリサンプリングステップ用の新規勾配推定器を含む）を用いて、FIVO を確率的勾配上昇法で最適化する。
• 変分後退化が将来の観測に条件づけられるようにする、VRNN のスムージング変種を導入し、ELBO や IWAE といった鋭い目的関数との比較を可能にする。
• 制御変数と分散低減技術を適用して訓練を安定化させ、特にリサンプリング勾配成分の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 パーティクルフィルターベースの周辺尤度推定器は、ELBO や IWAE よりも逐次モデルにおいてタイトな変分下界をもたらすか？
• RQ2 パーティクルフィルタの尤度推定器の分散は、得られる FIVO 下界のタイトさにどのように影響するか？
• RQ3 FIVO による学習は、ELBO や IWAE と比較して、逐次データにおいてより良い一般化性能と高い対数尤度を達成するか？
• RQ4 FIVO で学習されたモデルは、ELBO で学習されたモデルよりも、なぜ後退化をより効果的に回避するのか？
• RQ5 リサンプリングステップで偏りのある勾配が使われているにもかかわらず、FIVO は安定して最適化可能か？その実証的影響は何か？

主な発見

• FIVO で学習されたモデルは、4つの音楽モデリングデータセットおよび TIMIT 音声データセットにおいて、ELBO や IWAE で学習されたモデルと比較して、顕著に高い周辺対数尤度を達成した。
• JSB Chorales データセットでは、FIVO は訓練データセットの対数尤度が -4.08 nats/timestep に達し、ELBO の -5.48 や IWAE の -5.77 を上回った。
• TIMIT では、非スムージング ELBO に対して、FIVO は1つのシーケンスあたり 6,991 nats の相対的尤度向上を達成し、全手法の中で最高の性能を示した。
• FIVO で学習されたモデルは、事前分布からの高い KL 発散を維持しており、後退化の抑制が図られていることが示されたのに対し、ELBO で学習されたモデルは強い後退化を示した。
• リサンプリング勾配項を含めないで学習した場合、含めた場合よりも収束が速く、性能も優れていた。これは、リサンプリング勾配が有害であるか、非常に変動が大きい可能性を示唆している。
• 変分後退化を将来の情報に条件づけるスムージングを施しても、FIVO の性能は向上しなかった。これは、FIVO の下界がすでにタイトで、頑健であることを示している。