[論文レビュー] Learning Inverse Mapping by Autoencoder based Generative Adversarial Nets

Junyu Luo, Yong Xu+2 more|arXiv (Cornell University)|Mar 29, 2017

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 5

ひとこと要約

本稿では、画像空間から潜在空間への逆写像を学習するための自己符号化器ベースの手法AEGANを提案する。この手法では、逆生成器（IG）をエンコーダとして、事前学習済みのGAN生成器をデコーダとして用いる。同じ潜在コードから生成された画像間の再構成誤差を最小化することで、従来の逆GANモデルにおける学習の不安定性や相関性の低さの問題を克服し、教師なしの画像検索および超解像において最先端の性能を達成する。

ABSTRACT

The inverse mapping of GANs'(Generative Adversarial Nets) generator has a great potential value.Hence, some works have been developed to construct the inverse function of generator by directly learning or adversarial learning.While the results are encouraging, the problem is highly challenging and the existing ways of training inverse models of GANs have many disadvantages, such as hard to train or poor performance.Due to these reasons, we propose a new approach based on using inverse generator ($IG$) model as encoder and pre-trained generator ($G$) as decoder of an AutoEncoder network to train the $IG$ model. In the proposed model, the difference between the input and output, which are both the generated image of pre-trained GAN's generator, of AutoEncoder is directly minimized. The optimizing method can overcome the difficulty in training and inverse model of an non one-to-one function.We also applied the inverse model of GANs' generators to image searching and translation.The experimental results prove that the proposed approach works better than the traditional approaches in image searching.

研究の動機と目的

• GAN生成器の逆写像を安定的かつ正確に学習する課題に対処すること。これは、本質的に一対一ではない非可逆的関数であるため、困難である。
• 従来の手法の制限（再構成品質の低さ、ラベル付きデータへの依存、最適化の遅さ）を、自己符号化器フレームワークを用いることで克服すること。
• 教師あり微調整を必要とせずに、学習済みの逆写像を用いて効果的な画像検索および画像間変換を実現すること。
• 逆生成器が単語埋め込みと同等の意味的豊かさを持つ潜在表現を生成することを示し、下流のビジョンタスクに有用であることを示すこと。

提案手法

• AEGANは、事前学習済みのGAN生成器をデコーダとして用い、自己符号化器アーキテクチャにおいて逆生成器（IG）をエンコーダとして学習する。
• 同じ潜在コードから生成された画像間のL2損失を最小化する：$ \| G(IG(x)) - x \|_2^2 $、ここで $ x $ は実画像、$ G $ は事前学習済みの生成器である。
• 潜在コード $ z $ の直接的最適化を避けることで、先行手法で用いられる反復的勾配降下法の必要性を回避する。
• エンコーダ（IG）は生成器を固定したままエンドツーエンドで学習され、実画像から対応する潜在コードへの逆写像が可能になる。
• 生成器と判別器の共同学習を必要としないため、事前学習済みのGANから逆写像を学習することが可能になる。
• IGが生成する意味的豊かな潜在コードを活用することで、画像検索および超解像に応用する。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器ベースのフレームワークは、対立的または最適化ベースの手法と比較して、逆GANモデリングの安定性と品質を向上させることができるか？
• RQ2 学習済みの逆写像は、画像検索や変換タスクに有用な高レベルの意味的特徴を保持しているか？
• RQ3 逆生成器は、ぼやけや色のずれなどの画像劣化に対して頑健な潜在コードを生成できるか？これにより、教師なしの超解像が可能になるか？
• RQ4 dHash などの従来のハッシュ法と比較して、教師なしの画像類似度検索においてAEGANの性能はどの程度優れているか？
• RQ5 逆モデルは、半教師ありの画像間変換をどの程度可能にするか？

主な発見

• AEGANはオリジナル画像とのdHash類似度が0.8266に達し、直接学習（0.7944）やBiGAN（0.6594）を上回り、優れた再構成品質を示している。
• 画像検索において、AEGANはラベル類似度0.7918を達成し、dHash（0.7483）を顕著に上回り、より良い意味的整合性を示している。
• 微調整なしにぼやけた画像を鮮明なバージョンに再構成でき、超解像における頑健性と一般化性能を示している。
• 逆生成器は顔の角度、表情、ヘアスタイルといった重要な顔特徴を捉えており、外見の変化があっても正確な検索が可能である。
• 生成器を事前学習済みのままにし、エンコーダ部分のみを条件付きに学習することで、AEGANは教師なしの画像間変換を実現している。
• このアプローチは普遍的に適用可能であり、ラベル付きデータを必要としないため、大規模かつオープンドメインのビジョン応用に適している。