[論文レビュー] Structured Black Box Variational Inference for Latent Time Series Models

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|Jul 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 10

ひとこと要約

本稿では、三重対角ガウス変分分布を用いた構造的潜在時系列モデル向けに、線形時間のブラックボックス変分ベイズ推論アルゴリズムを提案する。再パラメータライゼーション勾配に前方後方アルゴリズムを適応させることで、動的単語埋め込みのような複雑なモデルの効率的かつスケーラブルな学習を可能にし、予測尤度においてベースラインを上回りながらも、O(T)の計算量を維持する。

ABSTRACT

Continuous latent time series models are prevalent in Bayesian modeling; examples include the Kalman filter, dynamic collaborative filtering, or dynamic topic models. These models often benefit from structured, non mean field variational approximations that capture correlations between time steps. Black box variational inference with reparameterization gradients (BBVI) allows us to explore a rich new class of Bayesian non-conjugate latent time series models; however, a naive application of BBVI to such structured variational models would scale quadratically in the number of time steps. We describe a BBVI algorithm analogous to the forward-backward algorithm which instead scales linearly in time. It allows us to efficiently sample from the variational distribution and estimate the gradients of the ELBO. Finally, we show results on the recently proposed dynamic word embedding model, which was trained using our method.

研究の動機と目的

• 時系列モデルにおける構造的で非平均場の変分近似に標準的なブラックボックス変分ベイズ（BBVI）を適用した場合の計算非効率性を解消すること。
• 勾配推定のO(T²)コストをO(T)に削減することで、非共役の潜在時系列モデルにおけるスケーラブルなベイズ推論を可能にすること。
• 密行列演算を回避できる、構造的変分分布と互換性のある再パラメータライゼーショントリックの開発。
• 動的単語埋め込みモデルへの応用を通じて、本手法の有効性を示し、一般化性能と予測性能の向上を確認すること。

提案手法

• 三重対角精度行列を双対角因子に分解することで、前方後方アルゴリズムをBBVIに適応し、線形時間での計算を実現する。
• 行列逆行列や乗算を回避する再パラメータライゼーションスキームを採用し、時間方向の前向き・後向きパスによる勾配推定を可能にする。
• 補助変数を用い、双対角行列に対する前向き・後向き代入を用いて線形方程式系を効率的に解き、勾配を高速に計算する。
• 変分分布と尤度モデルの構造を活用することで、下界尤度（ELBO）の勾配推定子を導出する。
• 変分分布が潜在的なオーラン・アンド・ホイーラ過程として潜在単語ベクトルをモデル化する動的スキップグラム埋め込みモデルに本手法を適用する。
• 構造的変分分布からのモンテカルロサンプルを用い、再パラメータライゼーションによる勾配計算を実施することで、時系列構造に沿った微分可能性を保持する。

実験結果

リサーチクエスチョン

• RQ1 構造的で非平均場の変分近似を用いた時系列モデルにおいて、ブラックボックス変分ベイズを効率的に実装できるか？
• RQ2 構造的BBVIにおける勾配推定のO(T²)コストをO(T)に削減しつつ、精度を維持できるか？
• RQ3 線形時間推論を備えた構造的BBVIは、平均場法やフィルタリングベースの手法と比較して、動的モデリングタスクで優れた性能を示せるか？
• RQ4 本手法は、既存のベースラインと比較して、動的単語埋め込みモデルにおける予測性能を向上させられるか？

主な発見

• 提案手法である構造的BBVIアルゴリズムはO(T)の計算量を達成しており、ナーブなBBVIが二次的になるのとは異なり、長期間時系列データへのスケーラビリティを有する。
• Google Booksコーパス（T=209）において、本手法はSGI、SGP、DSG-Fを上回る予測対数尤度を達成し、優れた一般化性能を示した。
• 動的スキップグラムスムージング法（DSG-S）は、フィルタリングバージョン（DSG-F）と比較して、特に初期時刻における予測尤度を顕著に向上させた。
• 本手法は、動的単語埋め込みのような、構造的後退分布を持つ複雑な非共役潜在時系列モデルの高効率かつ高精度な学習を可能にした。
• 前方後方アルゴリズムにインspiredされた再パラメータライゼーショントリックにより、密行列演算を回避しつつ正確な勾配計算が可能となり、微分可能性とスケーラビリティを両立した。