[論文レビュー] Versatile Auxiliary Regressor with Generative Adversarial network (VAR+GAN)

Shabab Bazrafkan, Peter Corcoran|arXiv (Cornell University)|May 28, 2018

Face recognition and analysis参考文献 10被引用数 7

ひとこと要約

この論文は、回帰ヘッドを識別器とは別に統合することで、条件付きGANを回帰タスクに拡張する包括的フレームワークであるVAR+GANを提案する。これにより、顔のランドマークなど連続的属性の制御が可能になる。本手法は、生成出力のエントロピーを低減し、条件付き分布間のジェンセン・シャノン発散を増大させる、新たな損失関数を用いる。その結果、cBiGANに比べて生成サンプルの多様性が向上し、より良い制御性を実現する。

ABSTRACT

Being able to generate constrained samples is one of the most appealing applications of the deep generators. Conditional generators are one of the successful implementations of such models wherein the created samples are constrained to a specific class. In this work, the application of these networks is extended to regression problems wherein the conditional generator is restrained to any continuous aspect of the data. A new loss function is presented for the regression network and also implementations for generating faces with any particular set of landmarks is provided.

研究の動機と目的

• 生成モデルにおける離散的クラス条件付けを超えて、連続的属性の制御が可能な条件付きGANの拡張を目的とする。
• 同じ連続的属性に対して生成されるサンプルの多様性が不足している既存の条件付きGAN（例：cBiGAN）の問題を解決することを目的とする。
• ネットワーク構造や損失関数に依存しない、アーキテクチャに依存しない汎用的な手法を構築することを目的とする。
• 顔のランドマークのような連続的属性によって制約された、高品質で多様なデータの生成を可能とすることを目的とする。

提案手法

• 生成器（G）が潜在ノイズとターゲットとなる連続的属性に条件付けられるGANフレームワークにおいて、識別器（D）と並列に学習される回帰ネットワーク（R）を導入する。
• 回帰器を最適化するための新たな損失関数 $ L_R = \int\!\!\int dp_z(\mathbf{z}) \left( -\log\left(1 - (y - R(G(\mathbf{z})))\right) \right) dz $ を提案する。
• 回帰誤差を生成器を介して逆伝播することで、エンド・ツー・エンドの学習を可能とし、生成出力がターゲットとなる連続的属性と一致するように制約を課す。
• 理論的分析により、$ L_R $ の最小化が生成器の出力分布のエントロピーを低減することを証明し、生成サンプルに対するよりきめ細やかな制御を実現することを示す。
• あらゆるGANアーキテクチャや損失関数と互換性があるため、実装の多様性に富んでいる。
• 顔の生成とランドマーク制御を対象に、定性的および定量的多様性指標を用いてcBiGANと比較し、実証的に検証した。

実験結果

リサーチクエスチョン

• RQ1 GANフレームワークを、離散的クラスの条件付けを超えて、連続的属性（例：顔のランドマーク）の制御に拡張することは可能か？
• RQ2 同じ連続的属性条件に対して、生成器が多様なサンプルを生成するようにどのように学習させられるか？
• RQ3 提案された損失関数は、生成サンプルのエントロピーを効果的に低減するか？ その結果、属性制御が向上するか？
• RQ4 cBiGAN（連続的属性を持つ条件付き生成の最先端手法）と比較して、本手法は多様性と品質の点で優れているか？
• RQ5 提案されたフレームワークは、アーキテクチャや損失関数の変更なしに、あらゆるGANアーキテクチャに普遍的に適用可能か？

主な発見

• VAR+GANは、cBiGANに比べて、同じ顔のランドマークセットに対して顔の多様性が著しく高い。cBiGANは同じ条件下で非常に似たか、同一のサンプルを生成する傾向がある。
• 提案された損失関数は、生成器の出力分布のエントロピーを低減することを確認した。これは、モデルが生成サンプルに対してよりきめ細やかな制御を実現していることを示している。
• 理論的分析により、回帰損失の最小化が、生成サンプルの条件付き分布間のジェンセン・シャノン発散を増大させることを示した。これは、異なる属性条件における生成サンプルの分離性が向上していることを示している。
• VAR+GANは、生成器や識別器のアーキテクチャを変更することなく、BEGANを含むあらゆるGANバリアントと完全に互換性がある。
• 本手法により、属性制御された多様なサンプルの生成が可能となり、限られたデータ環境下で堅牢なモデルを訓練するための有効なデータ拡張が実現できる。
• 実験的結果により、VAR+GANは視覚的多様性と属性の一貫性の両面でcBiGANを上回ることを示し、条件付き生成タスクにおける優位性を実証した。