[論文レビュー] Variational Rejection Sampling

Aditya Grover, Ramki Gummadi+3 more|arXiv (Cornell University)|Apr 5, 2018

Gaussian Processes and Bayesian Inference参考文献 30被引用数 3

ひとこと要約

本論文は、変分後退の低尤度サンプルを微分可能かつ拒否テストを用いてフィルタリングすることにより、潜在変数モデルにおける変分推論を改善するVariational Rejection Sampling (VRS) を提案する。計算量を犠牲にして統計的精度を高めることで、VRSは最先端の性能を達成し、シグモイド信念ネットワークを用いたバイナリズドMNISTにおいて、単一サンプルベースラインより3.71 nats、マルチサンプル手法より0.21 natsのテスト負の対数尤度を低減した。

ABSTRACT

Learning latent variable models with stochastic variational inference is challenging when the approximate posterior is far from the true posterior, due to high variance in the gradient estimates. We propose a novel rejection sampling step that discards samples from the variational posterior which are assigned low likelihoods by the model. Our approach provides an arbitrarily accurate approximation of the true posterior at the expense of extra computation. Using a new gradient estimator for the resulting unnormalized proposal distribution, we achieve average improvements of 3.71 nats and 0.21 nats over state-of-the-art single-sample and multi-sample alternatives respectively for estimating marginal log-likelihoods using sigmoid belief networks on the MNIST dataset.

研究の動機と目的

• 変分後退が真の後退をうまく近似できない場合に生じる高分散勾配推定を是正すること。
• 明示的な再パラメータライゼーションや複雑なモデル変更を必要とせずに、後退近似を改善する手法を開発すること。
• 後退近似における計算コストと統計的精度の間の柔軟なトレードオフを可能にすること。
• 再サンプリングされた提案分布が未正規化であるにもかかわらず、モデルパラメータの不偏勾配推定器を導出すること。
• 標準的な生成モデルベンチマークタスクにおいて、既存の単一サンプルおよびマルチサンプル変分推論手法と比較して優れた性能を実証すること。

提案手法

• 2段階のサンプリングプロセスを導入：まず変分後退からサンプリングし、次にモデル尤度に基づいた微分可能な受容・拒否テストを適用する。
• 拒否率を制御するための閾値パラメータγを用い、γ → 1 の極限では標準的な変分推論、γ → 0 の極限では正確な後退サンプリングに滑らかに内挿可能である。
• 再サンプリングされた提案分布の未正規化密度推定値のみを用いて、明示的な正規化を避けても不偏勾配推定器を導出する。
• 元の変分後退を真の後退によりよく近づけるように暗黙的に変更する、再サンプリング提案分布Rθ,φを採用する。
• 下界の評価に重要度サンプリング（IS）と再サンプリングベース推定（RS）を適用し、RSが優れた性能を示した。
• Evidence Lower Bound（ELBO）の評価に重要度サンプリングと再サンプリングベースの手法をサポートし、後者はパーティション関数のモンテカルロ推定を用いる。

実験結果

リサーチクエスチョン

• RQ1 微分可能な拒否メカニズムは、潜在変数モデルにおける変分後退近似の質を向上させ得るか？
• RQ2 提案手法は、既存の単一サンプルおよびマルチサンプル変分推論手法と比較して、より優れた周辺対数尤度推定を達成するか？
• RQ3 後退近似における計算コストと統計的精度の間の滑らかなトレードオフを提供できるか？
• RQ4 再サンプリングによる拒否により提案分布が未正規化である場合でも、モデルパラメータの不偏勾配推定器を導出可能か？
• RQ5 VRSは、NVIL、REBAR、VIMCOといった最先端手法と比較して、バイナリズドMNISTなどの標準ベンチマークで優れた性能を示すか？

主な発見

• VRSは、バイナリズドMNISTにおいて、最先端の単一サンプル手法と比較して、平均で3.71 natsのテスト負の対数尤度を低減した。
• VRSは、k=50のベースラインと比較して、サンプル数が少ないにもかかわらず、平均で0.21 natsのテスト対数尤度を向上させた。
• 再サンプリング（RS）推定器は、常に重要度サンプリング（IS）推定器を上回り、再サンプリングステップが後退近似を改善していることを示している。
• 閾値パラメータγを低くする（例：0.95から0.9に）ことで性能が向上するが、計算量が増加するため、精度とコストの制御可能なトレードオフが確認された。
• γ=0.95およびγ=0.9のVRSは、k=50のマルチサンプル手法を上回る性能を達成し、少ないが高品質なサンプルが、多数の低品質なサンプルを上回ることを示した。
• VRSは、バイナリズドMNISTにおけるシグモイド信念ネットワークで最先端の結果を達成し、REBAR、Concrete、VIMCOを含む発表済みベースラインをすべて上回った。