[論文レビュー] PixelVAE++: Improved PixelVAE with Discrete Prior

H. Sadeghi, Evgeny Andriyash+3 more|arXiv (Cornell University)|Aug 26, 2019

Advanced Neural Network Applications参考文献 60被引用数 15

ひとこと要約

PixelVAE++ は、離散的潜在変数と制限付きボルツマンマシン（RBM）事前分布を用いた階層的変分オートエンコーダに PixelCNN++ デコーダを統合することで、画像の生成的モデリングを改善した。このモデルは、MNIST、Omniglot、CIFAR-10 において最先端の対数尤度性能を達成し、ガウス事前分布と比較してより優れた分離性とシャープな条件付き生成を実現している。また、PixelCNN++ よりも 25% 少ないパラメータ数で実現している。

ABSTRACT

Constructing powerful generative models for natural images is a challenging task. PixelCNN models capture details and local information in images very well but have limited receptive field. Variational autoencoders with a factorial decoder can capture global information easily, but they often fail to reconstruct details faithfully. PixelVAE combines the best features of the two models and constructs a generative model that is able to learn local and global structures. Here we introduce PixelVAE++, a VAE with three types of latent variables and a PixelCNN++ for the decoder. We introduce a novel architecture that reuses a part of the decoder as an encoder. We achieve the state of the art performance on binary data sets such as MNIST and Omniglot and achieve the state of the art performance on CIFAR-10 among latent variable models while keeping the latent variables informative.

研究の動機と目的

• 変分オートエンコーダの性能を、画像のグローバル構造とローカル構造の両方をモデリングする能力向上を目的とする。
• 自己回帰的デコーダと組み合わせることで、VAE が微細なディテールを再構築する能力に欠けるという限界を是正すること。
• 特に RBM 事前分布を用いた離散的潜在変数の影響が、表現品質と生成性能に与える影響を調査すること。
• モデルの複雑さを低減しつつ、ベンチマークデータセットにおける対数尤度と分離性を維持または向上させること。
• 潜在変数の事前分布を最適化することで、より情報量が多くシャープな条件付き生成を可能とすること。

提案手法

• 512 個の連結された、128 個の条件付き、8×8×3×(n+1) 個の共有潜在変数の3種類の潜在変数を有する階層的 VAE を導入する。
• 画像ピクセルの自己回帰的モデリングに PixelCNN++ デコーダを採用し、局所的ディテールの高精細再構築を可能にする。
• デコーダと階層的エンコーダの間でほとんどのパラメータを共有することで、モデルの複雑さを低減し、エンドツーエンドの学習を可能にする。
• Gumbel-Softmax推定器による連続的リラクゼーションを用いて、RBM 事前分布における離散的潜在変数を逆誤差伝搬可能にする。
• 完全可視型RBMを離散的潜在変数の事前分布として採用し、潜在空間における複雑でマルチモーダルな分布をモデル化する。
• RBM 事前分布を用いた DVAE の学習を可能とする、緩和された目的関数に基づくエビデンス下界（ELBO）の最適化を行う。

実験結果

リサーチクエスチョン

• RQ1 離散的潜在変数事前分布と自己回帰的デコーダを備えた VAE は、画像生成タスクにおける対数尤度性能で既存モデルを上回ることができるか？
• RQ2 ガウス分布と比較して、RBM 事前分布を用いることで、画像生成における条件付き分布の分離性とシャープネスにどのような影響を与えるか？
• RQ3 エンコーダとデコーダ間でパラメータを共有することで、性能を損なわず、どの程度モデルの複雑さを低減できるか？
• RQ4 離散的潜在変数がグローバルな画像特徴（例：数字の分類、オブジェクト構成）を効果的に捉え、自己回帰的デコーダがローカルな変動をモデル化できるか？
• RQ5 標準のガウス事前分布と比較して、RBM 事前分布を用いることで、潜在空間の情報量と表現力が向上するか？

主な発見

• CIFAR-10 において PixelVAE++ は 2.90 ビット/次元（bpd）の対数尤度を達成し、他の潜在変数モデルを上回り、パラメータ数を 25% 減少させながら PixelCNN++ と同等の性能を実現した。
• MNIST では、RBM 事前分布を用いたモデルがテスト対数尤度 -78.65 bpd を達成し、ガウス事前分布バージョン（-78.66 bpd）をわずかに上回った。また、KLダイバージェンスが著しく低く（7.62 対 6.86）なっており、事後分布との整合性が良好であることが示された。
• Omniglot では、RBM 事前分布モデルがテスト対数尤度 -88.29 bpd を達成し、ガウス事前分布モデル（-88.65 bpd）を上回った。また、形状の変異をより明確に捉えたシャープな条件付き分布を示した。
• RBM 事前分布は、事後分布と事前分布の間の KL ダイバージェンスが低くなることから、より情報量の多い潜在空間を実現しており、グローバル特徴の分離性が向上していることが裏付けられた。
• 条件付き生成の結果、RBM 事前分布モデルは、1つの潜在コードに対して複数のサンプルを生成する際、MNIST や Omniglot においてよりシャープで一貫性のある再構築を実現した。
• CIFAR-10 では、条件付き分布が広がっているものの、依然として色や構成といったグローバル特徴を捉えており、対数尤度と分離性の両面でガウス事前分布より優れた性能を示した。