[論文レビュー] PixelGAN Autoencoders

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|Jun 2, 2017

Generative Adversarial Networks and Image Synthesis被引用数 25

ひとこと要約

本稿では、潜在変数を条件とするPixelCNNデコーダと、GANベースの推論ネットワークを組み合わせた生成的オートエンコーダ、PixelGANオートエンコーダを提案する。潜在空間に任意の事前分布（ガウス分布やカテゴリカル分布など）を課すことにより、表現の分離を可能にする。ガウス事前分布ではグローバルな特徴とローカルな特徴の分解が可能となり、カテゴリカル事前分布ではコンテンツとスタイルの分離が可能となり、MNIST、SVHN、NORBにおける最小限の教師信号での半教師あり分類で最先端の性能を達成する。

ABSTRACT

In this paper, we describe the "PixelGAN autoencoder", a generative autoencoder in which the generative path is a convolutional autoregressive neural network on pixels (PixelCNN) that is conditioned on a latent code, and the recognition path uses a generative adversarial network (GAN) to impose a prior distribution on the latent code. We show that different priors result in different decompositions of information between the latent code and the autoregressive decoder. For example, by imposing a Gaussian distribution as the prior, we can achieve a global vs. local decomposition, or by imposing a categorical distribution as the prior, we can disentangle the style and content information of images in an unsupervised fashion. We further show how the PixelGAN autoencoder with a categorical prior can be directly used in semi-supervised settings and achieve competitive semi-supervised classification results on the MNIST, SVHN and NORB datasets.

研究の動機と目的

• 自己回帰モデルの表現力とGANベースの推論の柔軟性を組み合わせた生成的オートエンコーダの開発。
• 潜在コードに任意の事前分布を課すことにより、分離表現学習の実現。
• 潜在コードが関連する要因（例：クラスラベル）のみを捉えるようにすることで、半教師あり学習性能の向上。この際、自己回帰的デコーダは残差構造をモデル化する。
• カテゴリカル事前分布を用いることで、画像のスタイルとコンテンツの無教師な分離を実現。

提案手法

• モデルは、入力画像xを再構築するために、潜在変数zを条件とするPixelCNNを生成パスとして用いる。
• 識別パスでは、入力xとノイズnを入力として受け取り、潜在変数zを出力する決定的ニューラルネットワークf(x, n)を用い、間接的な後方分布q(z|x)を形成する。
• 敵対的ディスクライマーは、集約後方分布q(z)と指定された事前分布p(z)を区別するように訓練され、潜在変数が事前分布に一致するように制約を課す。
• モデルはバックプロパゲーションによりエンドツーエンドで訓練され、生成器は再構築損失を最小化し、ディスクライマーはGAN損失を最小化する。
• ガウス分布やカテゴリカル分布といった異なる事前分布を課すことにより、潜在コードと自己回帰的デコーダの間で情報がどのように分解されるかを制御可能となる。
• 半教師あり学習の文脈では、カテゴリカル事前分布を用いて潜在コードをクラスラベルに一致させ、PixelCNNがスタイルや微細な詳細をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 潜在コードにガウス事前分布を課すことにより、グローバルな特徴とローカルな特徴の分離が可能になるか？
• RQ2 カテゴリカル事前分布を用いることで、画像表現におけるコンテンツとスタイルの無教師分離が可能になるか？
• RQ3 PixelGANオートエンコーダは、潜在空間における再構築損失に依存せずに、競争力のある半教師あり分類性能を達成できるか？
• RQ4 モデルのアーキテクチャが、潜在コードが特定の変動要因に集中させると同時に、自己回帰的デコーダが残差構造を捉えるのをどのように可能にするか？
• RQ5 このモデルは、異なるデータ分布間のクロスドメイン変換を学習するために拡張可能か？

主な発見

• ガウス事前分布を用いることで、グローバル構造を潜在コードが捉え、PixelCNNが微細な詳細をモデル化するグローバルvsローカルな画像統計の分解が可能になる。
• カテゴリカル事前分布を用いることで、モデルはコンテンツ（例：数字の識別子）とスタイル（例：筆圧の違い）を無教師で分離するよう学習する。
• PixelGANオートエンコーダは、MNIST、SVHN、NORBにおいて、標準的なオートエンコーダーや敵対的オートエンコーダーを凌駆する最先端の半教師あり分類精度を達成する。
• 再構築負荷が潜在コードと自己回帰的デコーダの間で共有されるため、標準的なVAEやAAEよりも優れた分離性能を実現する。
• 潜在コードが望ましい要因（例：ラベル）のみをモデル化するように設計されているため、アーキテクチャが効果的なクロスドメインマッピングを可能にする。
• 潜在空間における完全な再構築を避けることで、エンコーダがスタイル情報の保持を強制されず、クラスラベルなどの関連要因に集中できる。