[論文レビュー] DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors

Arash Vahdat, Evgeny Andriyash+1 more|arXiv (Cornell University)|May 1, 2018

Generative Adversarial Networks and Image Synthesis被引用数 21

ひとこと要約

本稿では、一般化された重複変換とガウス積分テクニックを用いて、離散変分オートエンコーダーにおける緩和されたボルツマン事前分布を提案し、よりタイトな重要度重み付き境界を用いた学習を可能にした。MNISTおよびOMNIGLOTにおける実験では、従来の離散VAEに比べて生成品質が向上した。

ABSTRACT

Boltzmann machines are powerful distributions that have been shown to be an effective prior over binary latent variables in variational autoencoders (VAEs). However, previous methods for training discrete VAEs have used the evidence lower bound and not the tighter importance-weighted bound. We propose two approaches for relaxing Boltzmann machines to continuous distributions that permit training with importance-weighted bounds. These relaxations are based on generalized overlapping transformations and the Gaussian integral trick. Experiments on the MNIST and OMNIGLOT datasets show that these relaxations outperform previous discrete VAEs with Boltzmann priors. An implementation which reproduces these results is available.

研究の動機と目的

• 従来の離散VAEがエビデンス下界（ELBO）のみを用いているという制限を是正し、よりタイトな重要度重み付き境界を用いること。
• 表現力が保たれつつ、微分可能となるようにボルツマンマシンの連続的リラクゼーションを開発すること。
• 離散潜在分布を連続的・微分可能な近似に変換することで、離散VAEの重要度重み付き境界を用いた学習を可能にすること。
• 表現力のある事前分布とよりタイトな変分境界を組み合わせることで、離散VAEにおけるサンプル品質と尤度推定値を向上させること。

提案手法

• 離散ボルツマン分布を連続的・微分可能な形に緩和するため、一般化された重複変換を提案する。
• ガウス積分テクニックを適用し、元のボルツマン分布の統計的性質を保持する連続的リラクゼーションを導出する。
• 緩和された分布をVAEフレームワークにおける事前分布として用い、離散潜在変数を介したバックプロパゲーションを可能にする。
• 重要度重み付きオートエンコーダー（IWAE）を用い、緩和された事前分布と組み合わせて変分下界をタイトにし、モデル容量を向上させる。
• 緩和された事前分布とデコーダー下でのデータ尤度を組み合わせた微分可能な目的関数を導出する。
• MNISTおよびOMNIGLOTで報告された結果を再現可能な実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 連続的リラクゼーションを用いたボルツマン事前分布は、離散VAEの重要度重み付き境界を用いた学習を可能にするか？
• RQ2 提案手法のリラクゼーションは、標準的なELBOベースの学習と比較して、尤度およびサンプル品質においてどのように異なるか？
• RQ3 一般化された重複変換とガウス積分テクニックは、ボルツマン事前分布の表現力を保ちつつ、微分可能最適化を可能にするか？
• RQ4 よりタイトな境界を用いることで、構造的事前分布を備えた離散VAEの性能にどのような影響を与えるか？
• RQ5 提案手法は、MNISTおよびOMNIGLOTといった標準ベンチマークデータセットで最先端の結果を達成できるか？

主な発見

• 提案手法により、重要度重み付き境界を用いた離散VAEの学習が可能となり、よりタイトな変分下界と向上したモデル容量が得られた。
• MNISTおよびOMNIGLOTにおける実験では、従来のボルツマン事前分布を用いたELBOベースの学習に比べ、本手法が優れた性能を示した。
• 一般化された重複変換とガウス積分テクニックを用いることで、連続的で微分可能な形でボルツマン事前分布の表現力を効果的に保持できた。
• 尤度が向上し、サンプル品質も従来手法を上回ったことから、事前分布構造の有効な活用が示された。
• オープンソースの実装が提供されており、ベンチマークデータセットにおける報告結果の再現性が確認された。