[論文レビュー] Controllable Generative Adversarial Network

Minhyeok Lee, Junhee Seok|arXiv (Cornell University)|Aug 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 11

ひとこと要約

本稿では、特徴分類を識別器から分離することで、生成画像の特徴に対する詳細で微細な制御を可能にする、新しいGANアーキテクチャ「ControlGAN」を提案する。別個の特徴分類器を訓練し、それを生成器の損失に統合することで、主な特徴や微細な特徴の両方に対して正確に制御可能な、高品質で多様なサンプルを生成する。訓練中に見られなかった補間および外挿されたラベルに対しても対応可能である。

ABSTRACT

Recently introduced generative adversarial network (GAN) has been shown numerous promising results to generate realistic samples. The essential task of GAN is to control the features of samples generated from a random distribution. While the current GAN structures, such as conditional GAN, successfully generate samples with desired major features, they often fail to produce detailed features that bring specific differences among samples. To overcome this limitation, here we propose a controllable GAN (ControlGAN) structure. By separating a feature classifier from a discriminator, the generator of ControlGAN is designed to learn generating synthetic samples with the specific detailed features. Evaluated with multiple image datasets, ControlGAN shows a power to generate improved samples with well-controlled features. Furthermore, we demonstrate that ControlGAN can generate intermediate features and opposite features for interpolated and extrapolated input labels that are not used in the training process. It implies that ControlGAN can significantly contribute to the variety of generated samples.

研究の動機と目的

• 既存のGANが主な属性を超える詳細な微細特徴の制御に限界を示す問題に対処すること。
• 標準の条件付きGANでは簡単に制御できない、特定で洗練された特徴を有する画像の生成を可能にすること。
• 訓練中に存在しなかったラベルの組み合わせに対して、中間的および逆転した特徴を生成できるかどうかを検証すること。
• 生成器における分離された特徴学習を通じて、サンプルの多様性と品質を向上させること。
• 補間および外挿を用いて分布外のラベルへの一般化を実証すること。

提案手法

• ControlGANは、識別器とは独立して訓練される別個の特徴分類器を導入し、詳細な特徴表現を抽出する。
• 生成器は、敵対的損失と別個の分類器からの特徴再構成損失を組み合わせた複合損失を用いて訓練される。
• 生成器の訓練中は特徴分類器を固定するため、生成器は特定の詳細特徴を有するサンプルを生成するように学習できる。
• 生成器を潜在コードと特定の特徴ベクトルに条件づけることで、特徴の制御が可能になる。
• ラベルベクトルの補間および外挿を用いて、訓練データに存在しなかった新しい現実的な特徴の組み合わせを生成する。
• 標準のGANフレームワークを維持しつつ、損失関数を変更して特徴レベルの制御を強調する。

実験結果

リサーチクエスチョン

• RQ1 GANアーキテクチャは、主な属性を超える詳細な画像特徴に対し、微細な制御を達成できるか？
• RQ2 訓練中に見られなかった補間された特徴ラベルを有する現実的なサンプルを生成できるか？
• RQ3 ラベルベクトルの外挿により、例えば笑顔と不機嫌な表情のような逆転した特徴を生成できるか？
• RQ4 特徴分類器を識別器から分離することで、特徴の分離と生成品質が向上するか？
• RQ5 ControlGANは、標準の条件付きGANと比較して、生成サンプルの多様性とリアルさをどの程度向上させるか？

主な発見

• ControlGANは、顔の表情、髪の色、オブジェクトの属性など、詳細な特徴に対して正確な制御が可能な高精細な画像を生成した。
• モデルは訓練データに存在しなかったラベルの組み合わせに対しても一般化し、補間および外挿された特徴に対して妥当なサンプルを生成した。
• 複数の画像データセットにおける評価から、ベースラインの条件付きGANと比較して、サンプルの品質と多様性が向上した。
• 分離された特徴分類器により、意味的特徴のより良い分離が達成され、より制御可能な生成が可能になった。
• 定性的および定量的指標による評価を通じて、微細な制御を備えた条件付き画像生成分野で、最先端のパフォーマンスを達成した。
• モデルは、訓練分布を超えた意味的に意味のある中間的および逆転した特徴の生成において、強力な一般化能力を示した。