[論文レビュー] Autoencoding beyond pixels using a learned similarity metric

Anders Larsen, Søren Kaae Sønderby+2 more|arXiv (Cornell University)|Dec 31, 2015

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 663

ひとこと要約

本稿では、VAEとGANのハイブリッドモデルを提案し、画素単位の再構成損失の代わりに、GANの識別器から学習された特徴量ベースの類似度メトリックを用いることで、画像生成品質と分離可能な表現学習を著しく向上させた。本手法は、再構成に高レベルの特徴表現を活用することで、教師なし画像生成において最先端の視覚的忠実度を達成し、潜在空間における意味のある演算を可能にし、属性の操作を可能にする。

ABSTRACT

We present an autoencoder that leverages learned representations to better measure similarities in data space. By combining a variational autoencoder with a generative adversarial network we can use learned feature representations in the GAN discriminator as basis for the VAE reconstruction objective. Thereby, we replace element-wise errors with feature-wise errors to better capture the data distribution while offering invariance towards e.g. translation. We apply our method to images of faces and show that it outperforms VAEs with element-wise similarity measures in terms of visual fidelity. Moreover, we show that the method learns an embedding in which high-level abstract visual features (e.g. wearing glasses) can be modified using simple arithmetic.

研究の動機と目的

• 画素単位の再構成損失が、平行移動などの知覚的不変性を捉えられないというVAEの限界を是正すること。
• ピクセルレベルの差異ではなく、高レベルの視覚的構造を反映する類似度メトリックを学習することで、生成モデリングを改善すること。
• 教師なしで潜在空間における分離可能な表現学習を可能にし、視覚的属性の変更を反映する意味のある演算を可能にすること。
• VAEの構造的潜在符号化の利点と、GANの高品質な生成性能を統合した、統一された教師なしフレームワークを構築すること。

提案手法

• 変分オートエンコーダー（VAE）と生成的対抗ネットワーク（GAN）を、デコーダー／ジェネレータのネットワークパラメータを共有することで統合する。
• VAEにおける標準的な画素単位の再構成損失を、GAN識別器の隠れ層の表現に基づく特徴量ベースの再構成損失に置き換える。
• GAN識別器の中間特徴を、再構成画像と本物画像の類似度を特徴レベルでモデル化する学習済み類似度メトリックとして使用する。
• 再構成（特徴レベルの尤度を介して）と対抗的識別を最適化するハイブリッド目的関数を用いて、VAEとGANを同時に学習する。
• 識別器の特徴にガウス観測モデルを適用し、平均を再構成サンプルの特徴表現とする。
• 得られた損失関数を用いて、エンコーダーと共有されたデコーダー／ジェネレータを教師なしでエンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴に基づく学習済み類似度メトリックは、画素単位の誤差を超えてVAEの再構成品質を向上させることができるか？
• RQ2 VAEとGANの学習を組み合わせることで、より優れた生成画像品質と分離可能な表現が得られるか？
• RQ3 提案モデルの潜在空間は、視覚的属性の変化を反映する意味のある演算をサポートできるか？
• RQ4 GAN識別器の特徴空間は、画像再構成における知覚的に意味のある類似度メトリックとして適切な代理となるか？
• RQ5 この手法は、GANと同等の性能を達成しつつも、VAEのデータの符号化・復元能力を維持できるか？

主な発見

• VAE/GANモデルは、画素単位の再構成損失を用いた標準VAEよりも著しく高い視覚的忠実度を持つ画像サンプルを生成する。
• 本モデルは、眼鏡の着用や顔の表情の変化といった視覚的属性の変化に対応する意味のある変化を示す、分離可能な潜在表現を学習する。
• 本手法は、教師なし画像生成において最先端の視覚的品質を達成し、GANと同等の性能を発揮しながらも、構造的潜在空間を維持する。
• GAN識別器の特徴表現は、平行移動などの知覚的不変性を捉える有効な学習済み類似度メトリックとして機能する。
• 本モデルは、LFWデータセットからの属性ベクトルに基づく条件付き画像生成を可能にし、標準VAEと比較して属性認識精度が向上する。