[論文レビュー] Adversarially Approximated Autoencoder for Image Generation and Manipulation

Wenju Xu, Shawn Keshmiri+1 more|arXiv (Cornell University)|Feb 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 59被引用数 6

ひとこと要約

本稿では、敵対的訓練を用いて非正則化オートエノードラが学習する潜在空間分布を近似することで、オートエノードラとGANを統合する新しい生成モデル、敵対的近似オートエノードラ（AAAE）を提案する。潜在コードに固定された事前分布を強制するのではなく、ランダムノイズを真の潜在分布にマッピングする生成器を訓練することで、明示的な正則化なしに忠実な画像再構成と高品質なサンプル生成を実現し、複数のベンチマークで最先端の手法を上回る性能を発揮する。

ABSTRACT

Regularized autoencoders learn the latent codes, a structure with the regularization under the distribution, which enables them the capability to infer the latent codes given observations and generate new samples given the codes. However, they are sometimes ambiguous as they tend to produce reconstructions that are not necessarily faithful reproduction of the inputs. The main reason is to enforce the learned latent code distribution to match a prior distribution while the true distribution remains unknown. To improve the reconstruction quality and learn the latent space a manifold structure, this work present a novel approach using the adversarially approximated autoencoder (AAAE) to investigate the latent codes with adversarial approximation. Instead of regularizing the latent codes by penalizing on the distance between the distributions of the model and the target, AAAE learns the autoencoder flexibly and approximates the latent space with a simpler generator. The ratio is estimated using generative adversarial network (GAN) to enforce the similarity of the distributions. Additionally, the image space is regularized with an additional adversarial regularizer. The proposed approach unifies two deep generative models for both latent space inference and diverse generation. The learning scheme is realized without regularization on the latent codes, which also encourages faithful reconstruction. Extensive validation experiments on four real-world datasets demonstrate the superior performance of AAAE. In comparison to the state-of-the-art approaches, AAAE generates samples with better quality and shares the properties of regularized autoencoder with a nice latent manifold structure.

研究の動機と目的

• 正則化オートエノードラが、真の潜在分布と不一致な事前分布を持つために生じる忠実な画像再構成の限界を是正すること。
• オートエノードラ（再構成）とGAN（多様な生成）の能力を統合した一つのフレームワーク内で統合すること。
• 潜在コードに対する明示的な正則化を排除し、敵対的近似によって真の潜在分布を暗黙的に学習すること。
• 再構成忠実度を向上させるとともに、固定事前分布を課さずに滑らかで構造的な潜在多様体を学習すること。

提案手法

• 非正則化オートエノードラを用いて恒等写像を学習し、潜在空間に真のデータ分布を保持する。
• 別個の生成器ネットワークがランダムノイズを潜在コードにマッピングし、真の潜在分布を近似する。
• 識別器を訓練して、エンコーダーから得た真の潜在コードと生成器から得た偽の潜在コードを区別させ、敵対的訓練により分布の類似性を強制する。
• 追加の識別器を用いて画像空間を正則化し、現実的なサンプル生成を保証する。
• 再構成損失と、潜在空間および画像空間の両方の敵対的損失を組み合わせた訓練目的を採用し、潜在コードに対する明示的正則化を排除する。
• 敵対的近似を活用することでAEとGANの目的を統合し、忠実な再構成と多様な生成を両立させるフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間の敵対的近似は、明示的な正則化なしにオートエノードラの再構成忠実度を向上させることができるか？
• RQ2 固定事前分布をデータ駆動の暗黙的潜在分布に置き換えると、サンプル品質および多様体構造にどのような影響を与えるか？
• RQ3 オートエノードラとGANを統合した統一フレームワークは、忠実な再構成と多様な生成を両立できるか？
• RQ4 潜在コードに対する明示的正則化が欠落することで、実世界の画像データセットにおいてより優れた性能が得られるか？

主な発見

• AAAEは、正則化オートエノードラおよび最先端のGANベースモデルと比較して、優れた画像再構成品質を達成する。
• 本モデルは、CelebA や MNIST を含む4つの実世界データセットで、高精細で多様なサンプルを生成する。
• 潜在空間の補間により滑らかで構造的な多様体が示され、効果的な分離性と連続性が裏付けられる。
• 潜在コードに対する明示的正則化が存在しないため、モデルが真の潜在分布を直接学習することで、より忠実な再構成が実現される。
• 本手法は、VAEおよびGANの両方を凌駕し、再構成精度とサンプル多様性のバランスを最適化する。