[論文レビュー] Hamiltonian Variational Auto-Encoder

Anthony L. Caterini, Randal Douc+1 more|arXiv (Cornell University)|May 29, 2018

Model Reduction and Neural Networks参考文献 19被引用数 5

ひとこと要約

本稿では、時不変でないハミルトニアン力学を用いて、変分推論のためのターゲットに適合した正規化フローを構築する、ハミルトニアン変分オートエンコーダー（HVAE）を提案する。ハミルトニアン重要度サンプリングと再パラメータライゼーショントリックを活用することで、ELBOおよびその勾配の低分散かつ不偏推定が可能となり、MNISTなどのベンチマークデータセットにおいて、標準的なVAEや正規化フローと比較して、事後分布の近似性能と対数尤度性能が顕著に向上する。

ABSTRACT

Variational Auto-Encoders (VAEs) have become very popular techniques to perform inference and learning in latent variable models as they allow us to leverage the rich representational power of neural networks to obtain flexible approximations of the posterior of latent variables as well as tight evidence lower bounds (ELBOs). Combined with stochastic variational inference, this provides a methodology scaling to large datasets. However, for this methodology to be practically efficient, it is necessary to obtain low-variance unbiased estimators of the ELBO and its gradients with respect to the parameters of interest. While the use of Markov chain Monte Carlo (MCMC) techniques such as Hamiltonian Monte Carlo (HMC) has been previously suggested to achieve this [23, 26], the proposed methods require specifying reverse kernels which have a large impact on performance. Additionally, the resulting unbiased estimator of the ELBO for most MCMC kernels is typically not amenable to the reparameterization trick. We show here how to optimally select reverse kernels in this setting and, by building upon Hamiltonian Importance Sampling (HIS) [17], we obtain a scheme that provides low-variance unbiased estimators of the ELBO and its gradients using the reparameterization trick. This allows us to develop a Hamiltonian Variational Auto-Encoder (HVAE). This method can be reinterpreted as a target-informed normalizing flow [20] which, within our context, only requires a few evaluations of the gradient of the sampled likelihood and trivial Jacobian calculations at each iteration.

研究の動機と目的

• 平均場仮定による制限により、複雑な事後分布を正確に近似できない標準VAEの限界を克服すること。
• 学習された逆カーネルに依存せずにMCMC技術を用いて、ELBOおよびその勾配のスケーラブルで低分散の推定器を構築すること。
• ハミルトニアンモンテカルロと正規化フローの長所を統合し、尤度からの勾配情報を活用する、ターゲットに適合した不均一なフローを構築すること。
• MCMCに基づく変分推論フレームワークにおいて再パラメータライゼーショントリックを適用し、効率的かつ不偏な勾配推定を可能にすること。
• 過大にパラメータ化された正規化フローを、ターゲット事後分布にインスパイアされた動的要因によって置き換えることで、一般化性能の向上とモデルの複雑さの低減を実現すること。

提案手法

• 本手法は、時不変でないハミルトニアン力学を用いて、基本サンプルを段階的な変換を通じて変換し、ターゲット事後分布に明示的に依存するフローを構築する。
• ハミルトニアン重要度サンプリング（HIS）を適用し、最適な逆カーネルを備えた前向きマルコフ連鎖を用いて、ELBOおよびその勾配の不偏推定器を構築する。
• 逆カーネルは、時間反転されたハミルトニアン力学から導出され、学習された遷移モデルを必要とせずに、重要度サンプリング推定器の分散を最小化する。
• 勾配の対数尤度がフロー全体を通して微分可能であることを保証することで、再パラメータライゼーショントリックの適用が可能となり、効率的な確率的最適化が可能になる。
• 各データポイントあたりの対数尤度勾配の評価回数を少数に抑え、微小なヤコビアン計算のみで済ませることで、高次元データへのスケーラビリティを実現する。
• 得られたHVAEは、変換の動的要因がターゲット分布にインスパイアされた正規化フローとして解釈され、事後分布の表現力が向上する。

実験結果

リサーチクエスチョン

• RQ1 学習された逆カーネルに依存せずに、VAEフレームワークにおいてハミルトニアン力学を用いて、ELBOおよびその勾配の低分散かつ不偏推定器を構築できるか。
• RQ2 ターゲットに適合した動的要因を組み込むことで、標準VAEや正規化フローと比較して、事後分布の近似と対数尤度推定の性能がどの程度向上するか。
• RQ3 MCMCに基づく変分推論スキームにおいて、再パラメータライゼーショントリックをどの程度適用可能にし、効率的な勾配ベース最適化を可能にするか。
• RQ4 不均一な動的要因（例えば、変化するループステップサイズや温度調整スキーム）が、得られるモデルの性能に与える影響はいかほどか。
• RQ5 ターゲットに適合したフローは、標準的な正規化フローと比較して、より少ないパラメータ数で優れた性能を達成できるか。

主な発見

• 自由温度調整と層ごとの変化するループステップサイズを用いたHVAEは、MNISTでテストNLLが82.62を達成し、ベースVAE（83.20）および標準的な正規化フローを上回る性能を示した。
• 自由温度調整下でループステップ数をK=15に増加させた場合が最良の性能を示し、より長い動的挙動が事後分布の近似を改善することを示している。
• 層ごとにループステップサイズεを変化させることで性能が向上したため、不均一な動的要因がモデルの表現力を高めることを示唆している。
• ターゲット事後分布にインスパイアされた動的要因を用いることで、過大にパラメータ化されたフローの必要性が低減され、より効率的かつ一般化可能なモデルが得られた。
• 時間反転されたハミルトニアン力学から導出された最適な逆カーネルを用いることで、従来のMCMCベースの手法と比較して、ELBO推定器の分散が顕著に低減された。
• HVAEフレームワークにより、再パラメータライゼーショントリックを用いた不偏勾配推定が可能となり、MCMCベースのサンプリングを用いながらも、効率的な確率的最適化が実現された。