[論文レビュー] Inverting The Generator Of A Generative Adversarial Network

Antonia Creswell, Anil A. Bharath|arXiv (Cornell University)|Nov 17, 2016

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本論文は、生成器の計算グラフを用いて勾配降下法により潜在コード $ z $ を最適化することで、事前学習済み GAN の生成器を逆方向に解体し、与えられた画像を再構築する手法を提案する。このアプローチは、MNIST においても顔貌とスタイルの両方を保持し、未学習の Omniglot キャラクタをゼロショットで潜在空間に投影可能であり、正則化を用いずとも優れた再構築品質を達成している。

ABSTRACT

Generative adversarial networks (GANs) learn to synthesise new samples from a high-dimensional distribution by passing samples drawn from a latent space through a generative network. When the high-dimensional distribution describes images of a particular data set, the network should learn to generate visually similar image samples for latent variables that are close to each other in the latent space. For tasks such as image retrieval and image classification, it may be useful to exploit the arrangement of the latent space by projecting images into it, and using this as a representation for discriminative tasks. GANs often consist of multiple layers of non-linear computations, making them very difficult to invert. This paper introduces techniques for projecting image samples into the latent space using any pre-trained GAN, provided that the computational graph is available. We evaluate these techniques on both MNIST digits and Omniglot handwritten characters. In the case of MNIST digits, we show that projections into the latent space maintain information about the style and the identity of the digit. In the case of Omniglot characters, we show that even characters from alphabets that have not been seen during training may be projected well into the latent space; this suggests that this approach may have applications in one-shot learning.

研究の動機と目的

• 事前学習済み GAN 生成器の逆方向マッピングを再訓練なしに実現し、画像をその潜在空間表現に変換することを目的とする。
• 逆方向マッピング中に手書き数字の識別性とスタイルを保持する。従来の手法ではこれらの特徴が維持されなかったため、これを改善することを目的とする。
• 未学習のアルファベット（例：未学習のアルファベットからの文字）の文字クラスが潜在空間に投影可能であることを示し、ワンショット学習への応用可能性を示すこと。
• 高品質な逆方向マッピングに正則化が不要であることを示し、既存の GAN に広く適用可能であることを目的とする。

提案手法

• 潜在空間 $ z $ に対して勾配降下法を用いて再構築誤差 $ L = -\text{cross-entropy}(x, G(z)) $ を最小化することで生成器を逆方向に解体する。
• 潜在コード $ z $ を事前分布 $ P_z(Z) $ からサンプリングし、繰り返し $ z^* \text{←} z^* - \alpha \nabla_z L $ で更新する。
• 生成器の計算グラフを介して $ z $ に関する勾配をバックプロパゲーションで計算し、エンドツーエンドの最適化を可能にする。
• バッチ正規化の影響を考慮し、単一画像の逆方向マッピングに失敗した場合には複数の画像をまとめてバッチとして処理することで対処する。
• 安定性向上のためのクリッピングや正則化をオプションとして適用可能だが、実験ではこれらが必須でないことが示された。
• バッチ逆方向マッピングを導入することで計算効率を向上させるとともに、バッチ正規化を含む GAN との互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み GAN 生成器を再訓練なしに、与えられた画像 $ x $ に対して意味のある潜在コード $ z $ を回復できるか？
• RQ2 提案手法は MNIST の手書き数字の識別性とスタイルの両方を保持できるか？
• RQ3 本手法は、Omniglot の未学習のアルファベットからの文字に対しても一般化可能か？ これはワンショット学習への応用可能性を示唆する。
• RQ4 高品質な逆方向マッピングには正則化が必要か？ それとも直接最適化で十分か？
• RQ5 バッチ正規化は逆方向マッピングの実現可能性と実装にどのように影響を与えるか？

主な発見

• MNIST では、提案手法が数字の識別性と筆跡スタイルの両方を効果的に保持しており、従来手法がこれらの特徴を維持できなかったのに対し優れた性能を示した。
• MNIST における再構築誤差は、一様分布（クリッピングや正則化なし）で最小 0.027 にまで低下し、高い忠実度を示した。
• Omniglot では、正則化なしでも未学習のアルファベットからの文字に対して再構築誤差が 0.020 にまで低下した。
• 結果から正則化が逆方向マッピング性能を向上させないことが示され、必要ではないことが判明した。これは、本手法が頑健で汎用的であることを示唆している。
• バッチ逆方向マッピングは実現可能かつ効率的であり、特に単一画像の逆方向マッピングが不安定になるバッチ正規化 GAN において顕著な利点を示した。
• 潜在空間は識別性とスタイルを同時に表現しており、未学習の文字クラスのゼロショット投影が可能である。これはワンショット学習への応用可能性を支持する。