[論文レビュー] Variational Lossy Autoencoder

Xi Chen, Diederik P. Kingma+6 more|arXiv (Cornell University)|Nov 8, 2016

Generative Adversarial Networks and Image Synthesis被引用数 257

ひとこと要約

本論文は Variational Lossy Autoencoder (VLAE) を導入し、情報の配置を制御する自己回帰的 priors と decoders を備えた VAE モデルにより、ロスィーなグローバル表現といくつかの画像データセットにおける最先端の密度推定を実現します。

ABSTRACT

Representation learning seeks to expose certain aspects of observed data in a learned representation that's amenable to downstream tasks like classification. For instance, a good representation for 2D images might be one that describes only global structure and discards information about detailed texture. In this paper, we present a simple but principled method to learn such global representations by combining Variational Autoencoder (VAE) with neural autoregressive models such as RNN, MADE and PixelRNN/CNN. Our proposed VAE model allows us to have control over what the global latent code can learn and , by designing the architecture accordingly, we can force the global latent code to discard irrelevant information such as texture in 2D images, and hence the VAE only "autoencodes" data in a lossy fashion. In addition, by leveraging autoregressive models as both prior distribution $p(z)$ and decoding distribution $p(x|z)$, we can greatly improve generative modeling performance of VAEs, achieving new state-of-the-art results on MNIST, OMNIGLOT and Caltech-101 Silhouettes density estimation tasks.

研究の動機と目的

• 潜在コードが長距離構造を捉えるように強制しつつ、局所的なディテールを autoregressive デコーダでモデルすることで、グローバルで分離された表現を学習することを目的とする。
• 強力なデコーダを持つ VAEs がしばしば潜在変数を無視してしまう理由と、情報の配置戦略によってこれを緩和する方法を調査する。
• 明示的な情報配置を制約付き自己回帰デコーディングによるものと、学習済み自己回帰 prior の二つの補完的な改善を提案し、表現と密度推定の両方を向上させる。
• グリッド? バイナリ画像データセットの上で VLAE を評価し、グローバル構造のロスィーな符号化を評価し、密度推定性能を評価する。
• 従来の VAEs より改善を示し、autoregressive コンポーネントを用いた CIFAR-10 で競争力のある結果を示す。

提案手法

• Variational Autoencoders をニューラル自己回帰モデルと組み合わせて VLAE を構築する。
• 小さな受容野を持つデコーディング分布 p(x|z) を用いて z にグローバル情報を強制的に取り込み、データのロスィーな表現を可能にする。
• 自己回帰デコーダを局所的統計のみをモデル化できるよう制約し、長距離構造を潜在コードへ押し込む。
• 事前分布 p(z) を自己回帰フロー (AF) でパラメータ化する。これはエンコーダパスの逆自己回帰フロー (IAF) 後方分布に相当し、追加のトレーニングコストなしにより表現力のある生成モデルを得る。
• 密度推定を改善するために任意で自己回帰デコーダ (PixelCNN) を用いる。
• Bits-Back Coding の解釈を活用して、潜在コード z が使用されるタイミングを分析し、情報配置戦略を動機づける。

実験結果

リサーチクエスチョン

• RQ1 VLAE は画像においてグローバル統計を符号化するロスィーなコードを学習できるか？
• RQ2 IAF posterior を AF prior に置換することで密度推定と潜在利用は改善されるか？
• RQ3 自己回帰デコーディング分布を使用することは、非自己回帰デコーダと比較して密度推定性能を向上させるか？
• RQ4 自己回帰デコーダの受容野サイズは、z に格納される情報にどのような影響を与えるか？
• RQ5 標準的な画像ベンチマーク (MNIST, OMNIGLOT, Caltech silhouettes, CIFAR-10) において、VLAE は従来の最先端密度モデルと競合する、あるいは優れているか？

主な発見

• VLAE はグローバル構造を潜在コードに捉えつつ、局所的なテクスチャを自己回帰デコーダでモデル化するロスィーな表現を学習する。
• AF prior は、静的に2値化された MNIST に対して負の対数尤度の点で同等の IAF posterior を上回り、AF prior からのより表現力のある生成モデルが有益であることを示している。
• AF prior を用いた autoregressive decoder (PixelCNN) は、MNIST、OMNIGLOT、Caltech-101 Silhouettes データセットで最先端または競争力のある密度推定をもたらす。
• CIFAR-10 では DenseNet バックボーンを用いた VLAE が競争力のある尤度を達成し、いくつかの従来の変分モデルを上回り、PixelCNN++ 相当の性能に近づく。
• PixelCNN デコーダの受容野サイズは、潜在コードがグローバル情報と局所情報のどの程度を符号化するかに影響する。小さな受容野は z により多くの局所的なディテールを保持し、 large の方はより多くの構造を z に転送する。