[論文レビュー] Resampled Priors for Variational Autoencoders

Matthias Bauer, Andriy Mnih|arXiv (Cornell University)|Oct 26, 2018

Domain Adaptation and Few-Shot Learning参考文献 10被引用数 11

ひとこと要約

この論文では、基本的な事前分布からの再サンプリングを通じて、より豊かで表現力のある事前分布を生成するための、学習された受容/拒否サンプリング（Lars）という手法を紹介する。このアプローチにより、変分オートエンコーダー（VAE）の性能が向上し、効率的な学習とサンプリングが可能となり、標準データセットにおいてより高いELBOと改善された生成品質が達成される。特に、フローに基づく提案分布と組み合わせると顕著な向上が見られる。

ABSTRACT

We propose Learned Accept/Reject Sampling (LARS), a method for constructing richer priors using rejection sampling with a learned acceptance function. This work is motivated by recent analyses of the VAE objective, which pointed out that commonly used simple priors can lead to underfitting. As the distribution induced by LARS involves an intractable normalizing constant, we show how to estimate it and its gradients efficiently. We demonstrate that LARS priors improve VAE performance on several standard datasets both when they are learned jointly with the rest of the model and when they are fitted to a pretrained model. Finally, we show that LARS can be combined with existing methods for defining flexible priors for an additional boost in performance.

研究の動機と目的

• 標準的な事前分布を用いた場合に生じる事前分布と集約事後分布の不一致を是正すること。これは、標準的な事前分布を用いると、モデルの不足適合（underfitting）を引き起こす可能性がある。
• サンプリング効率を損なわずに、表現力があり、解析的な事前分布を構築するための手法を開発すること。
• 目的分布からのサンプルのみを用いて、拒否サンプリング用の受容関数をエンドツーエンドで学習できること。
• 既存の手法（例：ノーマライジングフロー）と組み合わせてさらに性能向上が得られる、柔軟でモジュール式のアプローチを提供すること。
• 事前学習済みVAEにおける、同時学習および後処理による事前分布の最適化を可能にすること。

提案手法

• Larsは、通常はニューラルネットワークとして実装される学習された受容関数を用い、基本的な事前分布（例：標準正規分布）に対して拒否サンプリングを実行することで、より豊かで表現力のある事前分布に変換する。
• 受容関数はELBO目的関数を用いてエンドツーエンドで学習され、モデルが集約事後分布により適合する密度を学習できるようになる。
• 制限付きバージョンのLarsは、固定回数の失敗後に強制的に受容することで、最小の受容率を保証し、サンプリング効率を向上させる。
• 得られた再サンプリング済み事前分布の正規化定数は、モンテカルロサンプリングを用いて推定され、信頼性の高いモデル比較が可能になる。
• この手法は一般性があり、連続的および離散的潜在空間の両方に対応可能であり、フローやその他の柔軟な事前分布モデルと組み合わせて使用可能である。
• 受容関数は、明示的な密度評価を必要とせずに、集約事後分布と提案分布の密度比を学習する。

実験結果

リサーチクエスチョン

• RQ1 拒否サンプリングにおける学習された受容関数が、VAE性能を向上させるより表現力のある事前分布を生成できるか？
• RQ2 再サンプリング済み事前分布の正規化定数は、学習中に効率的に推定・微分可能か？
• RQ3 Larsは、同時に学習する場合と、事前学習済みVAEの後処理として適用可能か？
• RQ4 Larsにおけるサンプリング効率と近似精度のトレードオフは何か？そして、その制御方法は？
• RQ5 フローやVampPriorなどの他の柔軟な事前分布手法と比較して、ELBOおよび生成品質の面でLarsはどのように差をつけるか？

主な発見

• Lars事前分布は、MNIST、CIFAR-10、CelebAなど複数の標準データセットにおいて、標準正規事前分布と比較して顕著にELBOを向上させる。
• フローよりも提案分布と組み合わせることで、さらにELBOの向上が達成され、既存の柔軟な事前分布手法と相性が良いことが示された。
• 制限付きバージョンのLarsは、サンプリング効率と近似品質の制御可能なトレードオフを実現し、高いトリンケーション閾値でも性能低下が最小限に抑えられる。
• Larsは事前学習済みVAEに対して後処理として適用可能であり、学習された受容関数は再構成品質の観点から潜在変数のサンプルを効果的にランク付けする。
• 離散的潜在空間に対しても一般化可能であることが、VAEの離散出力分布を用いた実験で示された。広範な適用可能性が裏付けられた。
• 再サンプリング済み事前分布の明示的な密度が得られるため、正規化定数のモンテカルロ推定を用いた信頼性の高いモデル比較が可能になる。