[論文レビュー] Generative adversarial interpolative autoencoding: adversarial training on latent space interpolations encourage convex latent distributions

Tim Sainburg, Marvin Thielk+3 more|arXiv (Cornell University)|Jul 17, 2018

Advanced Image Processing Techniques参考文献 40被引用数 43

ひとこと要約

GAIAはオートエンコーダとGANの要素を組み合わせ、潜在空間の補間で訓練し、凸な潜在分布と双方向マッピングを伴う現実的なクロス-space再構成を促進します。

ABSTRACT

We present a neural network architecture based upon the Autoencoder (AE) and Generative Adversarial Network (GAN) that promotes a convex latent distribution by training adversarially on latent space interpolations. By using an AE as both the generator and discriminator of a GAN, we pass a pixel-wise error function across the discriminator, yielding an AE which produces non-blurry samples that match both high- and low-level features of the original images. Interpolations between images in this space remain within the latent-space distribution of real images as trained by the discriminator, and therfore preserve realistic resemblances to the network inputs. Code available at https://github.com/timsainb/GAIA

研究の動機と目的

• Perceptual/psychophysical representationsの探索のための生成モデルの動機付け。
• 補間の対向訓練によって潜在空間の凸性を促進。
• ディスクリミネータを介したピクセル単位の再構成によるX↔Zの双方向マッピングを達成。
• 潜在空間の高次元構造を保持しつつ、シャープで現実的なサンプルを維持。

提案手法

• GANフレームワーク内でジェネレーターとディスクリミネーターの両方としてオートエンコーダを使用。
• ディスクリミネータを通してピクセル単位の損失（L1）を伝播させ、ぼやけを低減。
• 潜在空間の補間(z_int)上で訓練し、潜在サンプルの凸結合における現実味を強制。
• XとZの対ペア距離を整合させる距離保持正則化（多次元尺度法風）を組み込む。
• GAIAを2Dデータセットと CELEBA-HQ 上で AE と VAE と比較し、補間の現実味と潜在空間構造を評価。

実験結果

リサーチクエスチョン

• RQ1 潜在空間補間に対する対向訓練は、データ分布内に落ちる現実的なサンプルを生み出す凸性の潜在分布を生むか。
• RQ2 GAIAは高次元構造を保持しつつ、シャープなサンプルを提供するX↔Zの双方向マッピングを達成できるか。
• RQ3 低次元および高次元データセットで、補間の現実味と潜在空間構造の点でGAIAはAEおよびVAEと比べてどうか。
• RQ4 GAIAの潜在空間補間は、標準のAEやVAEよりも真のデータ分布内に存在する頻度が高いか。
• RQ5 GAIAの潜在空間で高レベル属性を他の生成モデルと同様に線形操作できるか。

主な発見

• GAIAの補間（Gd( z_int )) は、2DデータセットでAEとVAEよりもデータ分布内に落ちる可能性が最も高い。
• 距離損失を用いたGAIAは、AEやVAEよりもペアワイズXとZの距離の対応を強く維持する。
• GAIAはディスクリミネータを通してピクセル単位の損失を伝えることで、高次元構造を保持しつつシャープで非ぼやけな再構成を実現。
• 2Dデータセットでは、GAIAの補間サンプルは、補間を射影する際にVAEと同様に真のデータ分布に効果的に一致し、元のデータ構造を尊重する。
• GAIAは現実的な潜在空間補間を可能にし、ピクセルレベルの再構成サンプルを伴う双方向推論を示す。