[論文レビュー] Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space

Anh‐Tu Nguyen, Jeff Clune+3 more|arXiv (Cornell University)|Nov 30, 2016

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 158

ひとこと要約

この論文は、事前学習済みの生成器と条件付き分類器、および学習された潜在的事前分布を組み合わせることで、潜在空間における反復的サンプリングにより、227×227解像度の高品質で多様かつ写真のようにリアルな画像合成を、ImageNetの全1000クラスで実現する、プラグアンドプレイ生成ネットワーク（PPGN）を提案する。本手法は、確率的エネルギーベース枠組みにおいて活性化最大化を統合し、メトロポリス補正付きランジエントダイナミクスを用いることで、最先端の品質と多様性を達成する。

ABSTRACT

Generating high-resolution, photo-realistic images has been a long-standing goal in machine learning. Recently, Nguyen et al. (2016) showed one interesting way to synthesize novel images by performing gradient ascent in the latent space of a generator network to maximize the activations of one or multiple neurons in a separate classifier network. In this paper we extend this method by introducing an additional prior on the latent code, improving both sample quality and sample diversity, leading to a state-of-the-art generative model that produces high quality images at higher resolutions (227x227) than previous generative models, and does so for all 1000 ImageNet categories. In addition, we provide a unified probabilistic interpretation of related activation maximization methods and call the general class of models "Plug and Play Generative Networks". PPGNs are composed of 1) a generator network G that is capable of drawing a wide range of image types and 2) a replaceable "condition" network C that tells the generator what to draw. We demonstrate the generation of images conditioned on a class (when C is an ImageNet or MIT Places classification network) and also conditioned on a caption (when C is an image captioning network). Our method also improves the state of the art of Multifaceted Feature Visualization, which generates the set of synthetic inputs that activate a neuron in order to better understand how deep neural networks operate. Finally, we show that our model performs reasonably well at the task of image inpainting. While image models are used in this paper, the approach is modality-agnostic and can be applied to many types of data.

研究の動機と目的

• 活性化最大化手法における高解像度画像生成における多様性と品質の不足を解消すること。
• 潜在コードに学習された事前分布を導入することで、潜在空間最適化におけるサンプルの多様性とリアリズムを向上させること。
• 既存の活性化最大化技術を確率的エネルギーベース枠組みに統合して生成モデルを構築すること。
• ImageNetクラスにとどまらず、自然言語のキャプションに対しても、モジュラーな「プラグアンドプレイ」条件付きネットワークにより条件付き画像生成を可能にすること。
• 本手法の有効性を、多様な特徴量可視化と画像補完の応用において示すこと。

提案手法

• 潜在コード h における事前分布 p(h) と分類器の活性化に基づく条件項を有するエネルギーベースモデルとして、活性化最大化を定式化する。
• 生成器ネットワーク G を用い、潜在コード h を画像にマッピングする。G は最適化中に固定された事前学習済みのものである。
• 混合性と多様性を向上させるために、近似的なメトロポリス補正付きランジエントサンプリングアルゴリズムを用いて、エネルギーベースモデルから反復的にサンプリングする。
• 実画像の特徴を潜在空間で学習することで、潜在コード h に適した共同事前分布 p(h) を導入し、リアルな画像生成を促進する。
• 分類器ネットワーク C のターゲットニューロンの活性化を最大化するように h を最適化することで、条件付き生成を可能にする。C は ImageNet またはキャプション生成ネットワークである可能性がある。
• クラスラベルと部分的な実画像のコンテキストを条件として用いることで、画像補完を可能にし、h が観測済みの画像領域と一致するように制約を課す。

実験結果

リサーチクエスチョン

• RQ1 学習された事前分布を有する潜在空間最適化手法は、全1000クラスのImageNetで高解像度で多様かつ写真のようにリアルな画像を生成できるか？
• RQ2 潜在コードに学習された事前分布を導入することで、標準的な活性化最大化と比較して、サンプルの多様性と品質はどのように向上するか？
• RQ3 同じ生成器を用いて、ImageNetクラスや自然言語のキャプションといった異なる種類の条件で画像生成が可能か？
• RQ4 PPGNフレームワークは、従来の手法と比較して、多様な特徴量可視化をどの程度改善するか？
• RQ5 クラス条件と空間的コンテキスト制約を組み合わせることで、PPGNは効果的な画像補完を実現できるか？

主な発見

• PPGNは、全1000クラスのImageNetで、227×227解像度の高品質で多様かつほぼ写真のようにリアルな画像を生成し、品質と多様性の両面で先行手法を上回る。
• 潜在コードに学習された事前分布を導入することで、サンプルの多様性が顕著に向上し、モード崩壊が軽減され、1つのクラス内で複数の画像構成の探索が可能になる。
• 本手法は、多様で意味的に意味のある刺激を個々のニューロンが活性化する多様な特徴量可視化において、最先端の性能を達成する。
• クラスラベルと空間的コンテキストを組み合わせることで、欠損領域を補完する画像補完においても、高い性能を示し、意味的に整合性のある結果を生成する。
• アブレーションスタディの結果、事前分布と条件項の最適なバランス（例：ϵ1 = 10⁻⁵）が、画像の品質と多様性を最大化することが判明した。一方、事前分布が強すぎる場合はモード崩壊が生じる。
• 一部のケースでは、実際のImageNet学習画像よりも、特徴空間における類似度が低くなることから、データ多様体の効果的な探索が行われていることが定量的に示された。