[論文レビュー] Conditional Autoencoders with Adversarial Information Factorization

Antonia Creswell, Anil A. Bharath+1 more|arXiv (Cornell University)|Nov 14, 2017

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 20

ひとこと要約

本稿では、敵対的情報因子分解を備えた条件付きオートエンコーダーを提案し、潜在空間を連続的（再構成）および離散的（属性分類）な成分に分離する。敵対的損失と補助ラベルを用いた学習により、生成画像における正確な属性編集が可能になるとともに、高精度の再構成を維持する。

ABSTRACT

Generative models, such as variational auto-encoders (VAE) and generative adversarial networks (GAN), have been immensely successful in approximating image statistics in computer vision. VAEs are useful for unsupervised feature learning, while GANs alleviate supervision by penalizing inaccurate samples using an adversarial game. In order to utilize benefits of these two approaches, we combine the VAE under an adversarial setup with auxiliary label information. We show that factorizing the latent space to separate the information needed for reconstruction (a continuous space) from the information needed for image attribute classification (a discrete space), enables the capability to edit specific attributes of an image.

研究の動機と目的

• 教師なし特徴学習のためのVAEの利点と、高品質なサンプル生成のためのGANの利点を統合すること。
• 潜在空間を再構成と属性分類のための明確な成分に分離すること。
• 分離された潜在要因を用いて、特定の属性を編集することで制御可能な画像生成を可能にすること。
• 補助ラベル情報を利用することで、分離性と生成品質を向上させること。

提案手法

• 生成品質の向上を目的に、変分オートエンコーダーと敵対的ディスクライマーを統合する。
• 潜在空間を画像再構成のための連続的成分と属性分類のための離散的成分に因子分解する。
• 潜在要因の分離をガイドするために、補助ラベルの監視を用いる。
• 非現実的なサンプルを罰するため、敵対的学習を採用し、生成の忠実度を向上させる。
• 再構成損失、敵対的損失、分類損失を統合した共同目的関数を用いて、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 敵対的学習は、条件付きVAEフレームワークにおける画像生成品質を向上させることができるか？
• RQ2 潜在空間を連続的および離散的成分に分離することで、より良い属性制御が可能になるか？
• RQ3 補助ラベル情報は、分離性と生成パフォーマンスを向上させることができるか？
• RQ4 分離された潜在要因を用いて、特定の画像属性をどの程度正確に編集できるか？

主な発見

• 潜在空間における再構成関連情報と属性関連情報の分離により、高精度な画像再構成が達成された。
• 分離された潜在要因により、他の特徴に影響を与えずに特定の画像属性を正確に編集できる。
• 補助ラベルの使用により、分離性が向上し、生成サンプルの品質が向上した。
• 敵対的学習により、標準的なVAEと比較してより現実的な画像生成が実現された。