[論文レビュー] Optimizing the Latent Space of Generative Networks

Piotr Bojanowski, Armand Joulin+2 more|arXiv (Cornell University)|Jul 18, 2017

Generative Adversarial Networks and Image Synthesis参考文献 55被引用数 202

ひとこと要約

GLOは深層畳み込み生成器を、再構成損失で各画像の潜在コードを学習することにより訓練し、敵対的学習を回避しつつ、意味的な補間や線形算術といったGAN風の潜在空間特性を再現する。

ABSTRACT

Generative Adversarial Networks (GANs) have achieved remarkable results in the task of generating realistic natural images. In most successful applications, GAN models share two common aspects: solving a challenging saddle point optimization problem, interpreted as an adversarial game between a generator and a discriminator functions; and parameterizing the generator and the discriminator as deep convolutional neural networks. The goal of this paper is to disentangle the contribution of these two factors to the success of GANs. In particular, we introduce Generative Latent Optimization (GLO), a framework to train deep convolutional generators using simple reconstruction losses. Throughout a variety of experiments, we show that GLO enjoys many of the desirable properties of GANs: synthesizing visually-appealing samples, interpolating meaningfully between samples, and performing linear arithmetic with noise vectors; all of this without the adversarial optimization scheme.

研究の動機と目的

• GANの成功は畳み込みネットの帰納的バイアスによるものか、それとも敵対的学習によるものかを検討する（A1対A2）。
• 敵対的でないフレームワーク（GLO）を提案し、再構成損失を用いて生成器と各画像の潜在コードを学習する。
• GLOをデータセット間で評価し、サンプル品質、潜在空間の補間、線形算術を評価する。
• 再構成と生成能力の点で、PCA、VAE、GANのベースラインとGLOを比較する。

提案手法

• 潜在ベクトル z_i を画像 x_i に写像する生成器 g_θ を、θ と各訓練画像の潜在コード z_i を共同最適化して学習する。
• 再構成損失 ℓ( g_θ(z_i), x_i ) を用い、θ と z_i を SGD で最小化する。
• 更新後に各 z_i を単位 ℓ2-球面上へ射影し、潜在ベクトルを球面上に保つ。
• 生成には Z を単位球面または単純なガウス事前分布に基づくものとして扱う。
• 色/低周波成分を保存するための Laplacian pyramid L1 損失や L2 損失を含む損失オプションを用いた実験。
• 比較のため、GAN 論文と整合する DCGAN に整合した生成器アーキテクチャを採用。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練プロトコルを排除しつつ、畳み込みネット priors を保つと競争力のある生成モデルになるか。
• RQ2 再構成損失を持つ学習可能な潜在空間は、GANと同様の意味のある補間と線形算術をサポートできるか。
• RQ3 GLOは多様な画像データセットで、再構成品質、サンプル品質、潜在空間の組織化の点でどう機能するか。

主な発見

• GLOは視覚的に魅力的なサンプルを合成でき、GANと同様の意味のある補間を示す。
• GLO の潜在空間算術は、一貫性のある変換（例：性別やアクセサリなどの属性の組み合わせ）を生み出す。
• GLO の潜在ベクトルは補間可能で、主成分方向が解釈可能な画像特徴（例：背景、向き、性別）と整列する。
• CelebA、 MNIST、SVHN のようなデータセットで、GLO は PCA、VAE、GAN のベースラインと比較して再構成と生成の性能が競合する。
• LSUN-bedroom の場合、GAN よりGLOの性能は劣る点があり、より広範で高変動データセットに対する容量の限界を示唆する。
• 再構成に基づく訓練は敵対的最適化なしでも GAN ライクな特性を達成できるが、大規模データセットではデータ分布の全域をカバーする点が難しい可能性がある。