[論文レビュー] Continuous Conditional Generative Adversarial Networks: Novel Empirical Losses and Label Input Mechanisms

Xin Ding, Yongwei Wang+3 more|arXiv (Cornell University)|Nov 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 8

ひとこと要約

本稿では、連続的でスカラーな回帰ラベルに条件づけられた画像生成のための最初のGANフレームワークである連続的条件付き生成対抗ネットワーク（CcGAN）を提案する。本研究は、(P1)連続的空間におけるラベルの疎らさや欠落による訓練の不安定性、および (P2) 標準的な one-hot または埋め込みベースのラベルインジェクションの不適合性という2つの主要な課題に取り組む。本手法は、新たな経験的損失関数（ハードおよびソフト・ビシナルディスクラミネーター損失）と、2つのラベル入力メカニズム（NLI および ILI）を提案し、高精細で多様性に富み、ラベルに整合した画像生成を実現する。RC-49、UTKFace、Steering Angle といったベンチマークにおいて、視覚的および定量的に標準 cGAN より優れた性能を発揮する。

ABSTRACT

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (eg, class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems:(P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (aka empirical cGAN losses) often fails in practice;(P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Fréchet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN is able to generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

研究の動機と目的

• 連続的かつスカラーな回帰ラベルに条件づけられた画像データの有効な生成モデリングの欠如に対処すること。
• 問題 (P1) の解決：連続的ラベル空間におけるラベルの疎らさや欠落による経験的リスク最小化の不安定性。
• 問題 (P2) の解決：無限に多くの連続的ラベルに対して、標準的な one-hot や埋め込みベースのラベル入力が不適合であること。
• ラベルの一貫性、画像の多様性、高品質な視覚的品質を保証する新しい訓練フレームワークの開発。
• 連続的条件付き GAN のための新しいベンチマークと評価指標の確立、Sliding FID および 2つの新規データセット（RC-49、Cell-200）を含む。

提案手法

• ビシナルリスク最小化を用いて連続的条件付き cGAN の経験的損失を再定式化し、2つの新しいディスクラミネーター損失（ハード・ビシナルディスクラミネーター損失（HVDL）とソフト・ビシナルディスクラミネーター損失（SVDL））を導出する。
• ラベルを特徴マップに直接連結するナイーブ・ラベルインプット（NLI）メカニズムと、より優れたラベル表現を実現するための学習可能な埋め込み層を用いるインプローブド・ラベルインプット（ILI）メカニズムを提案する。
• 再定式化されたディスクラミネーターの目的関数に基づき、新たな経験的生成器損失を導出し、訓練の安定化とサンプル品質の向上を図る。
• 生成器の更新ごとに複数回のディスクラミネーター更新を実施する修正された訓練スケジュールを採用し、DiffAugment を用いて強力なオーグメンテーションを適用することで、モード崩壊を軽減する。
• バックボーンネットワークとして SAGAN を採用し、ベースライン cGAN にはヘッジ損失を適用するが、CcGAN は提案された損失関数とラベルインプットメカニズムを用いる。
• やや厳しい仮定の下で、HVDL および SVDL で訓練されたディスクラミネーターの理論的誤差バウンディングを導出し、一般化の保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 条件付きラベルがカテゴリカルではなく連続的かつスカラーな場合、条件付き GAN を効果的に訓練できるか？
• RQ2 一部の回帰ラベルに少数またはゼロのトレーニング例がある場合、経験的損失をどのように再構築すれば、安定した訓練を保証できるか？
• RQ3 one-hot エンコーディングや有限クラスへの離散化に依存せずに、連続的スカラー値に対する有効な条件づけを実現するラベルインプットメカニズムは何か？
• RQ4 提案された CcGAN は、ラベル分布が異なる複数のデータセットにおいて、多様で高品質かつラベルに整合した画像を生成できるか？
• RQ5 視覚的品質、ラベル内多様性、ラベルの一貫性という観点から、CcGAN は標準 cGAN よりも優れた性能を発揮するか？

主な発見

• CcGAN（SVDL+ILI）は、RC-49、UTKFace、Steering Angle といったすべてのテストデータセットにおいて、高解像度でさえも視覚的に現実的で、多様性に富み、ラベルに整合した画像を生成する。
• cGAN（K クラス）は、高いラベル一貫性を示すが、モード崩壊と低レベルのラベル内多様性のため、多様性や高品質な画像を生成できない。
• cGAN（concat）は多様なサンプルを生成するが、入力された回帰ラベルと整合しない画像を生成し、ラベルの一貫性が著しく低い。
• Sliding Fréchet Inception Distance（SFID）は、ラベルの疎らさのため従来の Intra-FID が機能しない状況においても、CcGAN の性能を効果的に評価できる。
• HVDL および SVDL の理論的誤差バウンディングは、やや厳しい仮定の下で一般化の安定性を示し、提案された訓練目的関数の堅牢性を裏付ける。
• 広範なアブレーション実験により、SVDL と ILI の組み合わせが最良の性能を発揮することが確認され、損失関数およびラベルインプットメカニズムの有効性が裏付けられた。