[論文レビュー] A General Method for Amortizing Variational Filtering

Joseph Marino, Milan Cvitkovic+1 more|arXiv (Cornell University)|Nov 13, 2018

Gaussian Processes and Bayesian Inference被引用数 13

ひとこと要約

本論文は、過去および現在のデータを用いて各時刻で推論を最適化することにより、深層動的潜在変数モデルにおけるオンライン変分推論の理論的裏付けをもつ、変分フィルタリングEMアルゴリズムを導入する。本研究では、反復的推論ネットワークを用いて事後分布を効率的に近似する、アモルタイズド変分フィルタリング（AVF）を提案する。AVFは、TIMIT、KTH Actions、ポリフォニック音楽データセットを含む複数のベンチマークで、最先端または競争力のある性能を達成する。

ABSTRACT

We introduce the variational filtering EM algorithm, a simple, general-purpose method for performing variational inference in dynamical latent variable models using information from only past and present variables, i.e. filtering. The algorithm is derived from the variational objective in the filtering setting and consists of an optimization procedure at each time step. By performing each inference optimization procedure with an iterative amortized inference model, we obtain a computationally efficient implementation of the algorithm, which we call amortized variational filtering. We present experiments demonstrating that this general-purpose method improves performance across several deep dynamical latent variable models.

研究の動機と目的

• 深層動的潜在変数モデルにおけるオンライン変分推論のための汎用的で理論的根拠を持つ手法の開発。
• フィルタリングにおける手作業で設計された推論手順の限界を克服し、変分目的関数から厳密な最適化フレームワークを導出すること。
• 反復的更新を用いたアモルタイズド推論により、ヒューリスティック的またはモデル特有の設計に依存しない、推論の効率性と性能の向上。
• 音声、動画、音楽などの多様なシーケンスモデリングタスクにわたる、本手法の広範な適用可能性と有効性の実証。

提案手法

• フィルタリング変分目的関数から変分フィルタリングEMアルゴリズムを導出し、各時刻に特有の推論最適化問題の系列を生成する。
• 各時刻で反復的アモルタイズド推論モデルを用いて最適化を実行し、事前分布から初期化することでベイズ的予測・更新ループを形成する。
• 真の事後分布を近似するために変分自由エネルギー（ELBO）最小化を適用し、目的関数は負の証拠下限界（evidence lower bound）として表現される。
• 各時刻で複数回の勾配ベース更新を実行する、微分可能でエンドツーエンド学習可能な推論ネットワークを採用する。
• VRNN、SRNN、SVGを含む、任意の深層動的潜在変数モデルに適用可能であり、モデル特有の修正を要しない汎用フレームワークを導入する。
• 各ステップで過去および現在の観測のみを用いて逐次的にデータを処理することで、オンライン学習と推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 汎用的で理論的根拠を持つアルゴリズムが、深層動的潜在変数モデルにおけるオンライン変分推論を改善できるか？
• RQ2 反復的更新を用いたアモルタイズド推論は、手作業で設計された推論手法と比較して、性能と効率の面でどのように異なるか？
• RQ3 反復的推論プロセスは、フィルタリング設定における事後分布近似をどの程度改善するか？
• RQ4 提案手法は、音声、動画、音楽生成などの多様なシーケンスモデリングタスクに一般化可能か？
• RQ5 推論反復回数が、アモルタイズドフィルタリングフレームワークにおける性能と収束に与える影響はいかほどか？

主な発見

• TIMIT音声データセットでは、AVFが2回の推論反復を用いた場合、1ステップあたり1,071 natsのテスト自由エネルギーを達成し、ベースライン手法を上回った。
• KTH Actions動画データセットでは、AVFにより平均自由エネルギーがベースラインの1ステップあたり15,097 natsから11,714 natsに低下し、性能が顕著に向上した。
• JSB Chorales音楽データセットでは、推論反復回数を5回に増加させることで、AVFのテスト性能が1ステップあたり6.77 natsに改善され、ベースラインを上回った。
• TIMITにおけるSRNN、KTH ActionsにおけるSVGを含む、評価されたすべてのベンチマークで、AVFは最先端の手法と同等またはそれ以上の性能を達成した。
• 反復的推論プロセスは、反復回数が増えるごとに収益の逓減が見られるが、図示された再構成の進化から、各ステップで再構成品質が向上していることが示された。
• AVFの性能向上は、その理論的根拠に基づく最適化フレームワークと、他の手法で事後分布近似を阻害する可能性のあるKLの重み付けの低下がないことに起因する。