[論文レビュー] NEMGAN: Noise Engineered Mode-matching GAN

Deepak Mishra, Prathosh AP+3 more|arXiv (Cornell University)|Nov 8, 2018

Speech and Audio Processing被引用数 1

ひとこと要約

NEMGANは、最小限の教師信号を用いてモード事前分布を学習することで、GANにおけるモード発見および分離を正確に制御できるノイズ工学的潜在空間分布を提案する。潜在空間の逆問題ネットワークを発生器と併せて訓練する際の発散損失を用いることで、わずかなパラメータオーバーヘッドで、複数の現実世界のデータセットにおいて、モード分離、条件付き生成、属性発見の面で最先端の性能を達成する。

ABSTRACT

Generative adversarial networks (GANs) have shown remarkable success in generation of unstructured data, such as, natural images. However, discovery and separation of modes in the generated space, essential for several tasks beyond naive data generation, is still a challenge. In this paper, we address the problem of imposing desired modal properties on the generated space using a latent distribution, engineered in accordance with the modal properties of the true data distribution. This is achieved by training a latent space inversion network in tandem with the generative network using a divergence loss. The latent space is made to follow a continuous multimodal distribution generated by reparameterization of a pair of continuous and discrete random variables. In addition, the modal priors of the latent distribution are learned to match with the true data distribution using minimal-supervision with negligible increment in number of learnable parameters. We validate our method on multiple tasks such as mode separation, conditional generation, and attribute discovery on multiple real world image datasets and demonstrate its efficacy over other state-of-the-art methods.

研究の動機と目的

• GANの生成データ空間におけるモードの発見および分離の課題に取り組むこと。これは、単純なデータ生成を越えるタスクにおいて極めて重要である。
• 真のデータ分布のモード特性と一致するように潜在空間分布を設計することにより、生成サンプルのモード構造に対する制御を可能にすること。
• 最小限の教師信号と最小限のパラメータ増加で、潜在空間におけるモード事前分布を学習すること。
• 潜在空間におけるより良いモード整合性を実現することで、条件付き生成や属性発見などの下流タスクの性能を向上させること。

提案手法

• 潜在空間の逆問題ネットワークを発生器と併せて発散損失を用いて訓練し、潜在空間を真のデータ分布のモード構造と一致させる。
• 連続的および離散的確率変数のペアを用いて潜在空間を再パrameter化し、連続的マルチモーダル分布を構築する。
• 最小限の教師信号を用いてモード事前分布を学習し、真のデータ分布のモード特性と一致させる。
• 微分可能なマルチモーダル潜在分布の訓練を可能にするために、再パラメータ化テクニックを用いる。
• 発散損失により、生成分布が真のデータ分布のモード構造と一致することを保証する。
• 正確なモード制御を可能にする一方で、学習可能なパラメータ数の増加を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 潜在空間の工学的手法を用いて、GANを明示的に生成空間内の異なるデータモードを分離・制御できるか。
• RQ2 最小限の教師信号で、真のデータ分布のモード構造と一致するように、潜在空間におけるモード事前分布をどれほど効果的に学習できるか。
• RQ3 提案手法は、最先端のGANと比較して、どの程度モード分離および属性発見の性能を向上させるか。
• RQ4 複数の多様な現実世界の画像データセットに一般化可能であり、かつパラメータオーバーヘッドが低いか。

主な発見

• NEMGANは、複数の現実世界の画像データセットにおいて、モード分離の面で最先端の性能を達成する。
• 潜在空間におけるモード構造の明示的制御により、効果的な条件付き生成が可能になる。
• 潜在空間におけるモード事前分布の明示的モデリングのおかげで、属性発見の性能が顕著に向上する。
• 学習可能なパラメータ数の増加がほとんどないことから、効率性を維持したままこれらの結果を達成する。
• 発散損失を用いた潜在空間の逆問題ネットワークと発生器の共同訓練により、生成分布と真のデータ分布との整合性が向上する。
• 複雑で重複するモードを含む多様な画像データセットに対しても、本手法は頑健性と一般化性能を示す。