[論文レビュー] Autoencoding Generative Adversarial Networks

Conor Lazarou|arXiv (Cornell University)|Apr 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 5

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）とオートエンコーダーを組み合わせて、潜在空間とデータ多様体の間で全単射写像を学習する4ネットワークアーキテクチャである自己符号化生成対抗ネットワーク（AEGAN）を提案する。生成画像および潜在ベクトルの両方に対して敵対的損失と再構成損失を課すことにより、AEGANは学習の安定化、モード崩壊の防止、および実データサンプル間の直接補間を可能にし、アニメ顔データセットを用いた実験で、より優れたサンプル品質と構造的一致性が得られたことを示した。

ABSTRACT

In the years since Goodfellow et al. introduced Generative Adversarial Networks (GANs), there has been an explosion in the breadth and quality of generative model applications. Despite this work, GANs still have a long way to go before they see mainstream adoption, owing largely to their infamous training instability. Here I propose the Autoencoding Generative Adversarial Network (AEGAN), a four-network model which learns a bijective mapping between a specified latent space and a given sample space by applying an adversarial loss and a reconstruction loss to both the generated images and the generated latent vectors. The AEGAN technique offers several improvements to typical GAN training, including training stabilization, mode-collapse prevention, and permitting the direct interpolation between real samples. The effectiveness of the technique is illustrated using an anime face dataset.

研究の動機と目的

• 生成モデルにおけるGANの学習不安定性とモード崩壊という持続的な課題に対処すること。
• データと潜在表現の間の全単射写像を学習することで、潜在空間の意味的な分析を可能にすること。
• 実データサンプル間の直接補間を可能にするために、それらを分離可能で連続的な潜在空間に符号化すること。
• オートエンコーダーとGANの長所を統合し、サンプル品質と学習安定性の両方を向上させること。
• 将来のスケーラビリティと応用を考慮した、高度なGAN技術と互換性のあるフレームワークを提供すること。

提案手法

• AEGANフレームワークは、エンコーダーE、ジェネレーターG、データ空間用の識別器D_x、および潜在空間から元のデータ空間に戻すリバースジェネレーターG_zの4つのネットワークから構成される。
• 生成画像（G(E(x)) ≈ x）および再構成された潜在ベクトル（E(G(z)) ≈ z）の両方に対して再構成損失を課し、両方向の忠実度を保証する。
• モデルは敵対的損失を用いてジェネレーターと識別器をミニマックスゲームとして訓練し、実データ分布と生成データ分布の間のジェンセン＝ショーンナー・ダイバージェンスを最小化する。
• 訓練目的関数は、ハイパーパramータλ_rxとλ_rzを用いて敵対的損失と再構成損失を組み合わせ、各項の寄与度をバランスさせる。
• このアーキテクチャはCycleGANをインspireしているが、第二のデータドメインYの代わりに学習された潜在空間Zを用いることで、一般化されている。
• 全単射写像により、すべての実データサンプルが一意に潜在ベクトルにマッピングされ、逆に潜在ベクトルからも一意に元のデータに復元可能であり、逆転可能で解釈可能な表現が可能になる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルが、データ空間および潜在空間の両方で再構成制約を組み込むことで、安定した学習を達成できるか。
• RQ2 双方向の再構成を強制することで、GANの学習中にモード崩壊が防止されるか。
• RQ3 GANフレームワーク内で潜在空間の操作を用いて、実データサンプル間の直接補間が可能になるか。
• RQ4 オートエンコーディング部の導入が、標準GANと比較してサンプル品質にどのように影響するか。
• RQ5 全単射写像が、潜在空間における分離可能で解釈可能な表現をどの程度可能にするか。

主な発見

• AEGANは30万ステップにわたる安定した学習を達成したが、ベースラインのGANは5回の独立した学習実行すべてで完全なモード崩壊を示した。
• AEGANによる再構成サンプルは、標準的なオートエンコーダーと比較して著しくぼやけが少なく、髪の色、顔の輪郭、目の形状を正確に再現していた。
• モデルは、髪の色、ポーズ、顔貌特徴の変化を伴う、アニメ顔の間で滑らかな補間を成功裏に実現したが、ほとんどの場合にアーティファクトが発生しなかった。
• 制限事項はあったが、AEGANは補間中に一貫した目の色を維持しており、その属性における分離性の欠如を示しており、眼鏡や男性特有の顔貌の再構成に苦労していた。
• AEGANのジェネレーターは、バッチ正規化やワッサースタイン損失などの高度な技術に依存せず、再構成制約による本質的安定性を示した。
• このフレームワークは、StyleGANなどの高度なGAN技術と互換性があり、製品可視化などの応用を想定した条件付き潜在空間への拡張も可能である。