[論文レビュー] PixelVAE: A Latent Variable Model for Natural Images

Ishaan Gulrajani, Kundan Kumar+5 more|arXiv (Cornell University)|Nov 15, 2016

Generative Adversarial Networks and Image Synthesis被引用数 82

ひとこと要約

PixelVAEは、VAEフレームワークにPixelCNNに基づく自己回帰的デコードを統合した階層的変分オートエンコーダーを提案する。これにより、圧縮された潜在コードを用いて高品質な画像生成が可能になる。二値化されたMNISTでは最先端の対数尤度を達成し、64×64のImageNetでは競争力のある結果を示し、LSUNのベッドルーム画像においても高精細なサンプルを生成する。これは、自己回帰的事前分布をピクセルレベルおよび潜在特徴マップの両方で用いて、複数スケールの画像構造をモデル化することで実現される。

ABSTRACT

Natural image modeling is a landmark challenge of unsupervised learning. Variational Autoencoders (VAEs) learn a useful latent representation and model global structure well but have difficulty capturing small details. PixelCNN models details very well, but lacks a latent code and is difficult to scale for capturing large structures. We present PixelVAE, a VAE model with an autoregressive decoder based on PixelCNN. Our model requires very few expensive autoregressive layers compared to PixelCNN and learns latent codes that are more compressed than a standard VAE while still capturing most non-trivial structure. Finally, we extend our model to a hierarchy of latent variables at different scales. Our model achieves state-of-the-art performance on binarized MNIST, competitive performance on 64x64 ImageNet, and high-quality samples on the LSUN bedrooms dataset.

研究の動機と目的

• 標準のVAEが細部を捉える能力に欠けること、およびPixelCNNが解き放たれた潜在表現を持たないという限界を解決する。
• VAEに自己回帰的モデリングを統合することで、サンプルの鮮明さを向上させつつ、コンactかつ意味のある潜在コードを維持する。
• 自己回帰的モデリングをピクセルだけでなく、中間の潜在特徴マップに対しても適用する階層的アーキテクチャを構築する。
• MNIST、ImageNet、LSUNベッドルームなどのベンチマークデータセットで、サンプル品質および対数尤度の向上を実証する。
• 階層的生成モデルにおける複数の潜在層にわたるシーン要因の分離性を調査する。

提案手法

• 空間スケールごとに複数のスケール（例：1×1および8×8解像度）で確率的潜在変数を持つVAEフレームワークを用いる。
• 標準の独立したピクセルデコーダーの代わりに、マスク付き畳み込みを用いたPixelCNNベースの自己回帰的デコーダーを採用する。
• 出力ピクセルだけでなく、階層構造における上位レベルの潜在特徴マップに対しても自己回帰的モデリングを適用する。
• 再構成の際には教師強制を用い、生成の際には確率的サンプリングを実行する。
• ピクセル空間および潜在空間の両方のデコーダーにおいて、自己回帰的順序を保証するため、マスク付き畳み込みを活用する。
• 各潜在層が自己回帰的にPixelCNNでモデル化される階層的事前分布構造を採用し、複数スケールでの構造的生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的モデリングとVAEを組み合わせることで、コンパクトで分離可能な潜在表現を維持しつつ、サンプル品質を向上させることができるか？
• RQ2 デコーダーにおける自己回帰層の数を、完全なPixelCNNと比較して性能と計算コストに与える影響は何か？
• RQ3 VAEフレームワークにおける階層的潜在変数を、自己回帰的事前分布で効果的にモデル化できるか？ これにより、複数スケールの画像構造を捉えることができるか？
• RQ4 階層内の異なる潜在層が、幾何学的形状、色、テクスチャといった異なる画像特性をどの程度分離してモデル化できるか？
• RQ5 提案手法は、64×64のImageNetのような複雑なデータセットにおいて、競争力のある対数尤度を達成できるか？ また、高品質なサンプルを生成できるか？

主な発見

• PixelVAEは、二値化されたMNISTで最先端の対数尤度を達成し、尤度およびサンプル品質の両面で標準VAEおよびPixelCNNを上回る。
• 64×64のImageNetでは、検証NLLが≤3.66に留まり、PixelRNNにわずかに劣るが、はるかにグローバルに一貫性のあるサンプルを生成する。
• 階層的PixelVAEは、LSUNのベッドルームデータセットにおいて高品質で多様なサンプルを生成し、スケールにわたる構造的シーンモデリングを示している。
• アブレーションスタディの結果、上位レベルのPixelCNNデコーダーを対角ガウスデコーダーに置き換えると対数尤度が低下し、複数レベルでの自己回帰的モデリングの有効性が確認された。
• サンプル画像の視覚的検査から、上位層の潜在変数が部屋の幾何学的形状を、中位層が色とテクスチャを、ピクセルレベルの潜在変数が影やアラインメントといった細部をモデル化していることがわかった。
• 標準VAEよりも圧縮された潜在表現を学習しながらも、ほとんどの非自明な画像構造を捉えていることから、分離可能な表現学習のためのより優れたインダクティブバイアスを学習していると示唆される。