[論文レビュー] CcGAN: Continuous Conditional Generative Adversarial Networks for Image Generation

Xin Ding, Yongwei Wang+3 more|arXiv (Cornell University)|Nov 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 18

ひとこと要約

この論文は、連続的回帰ラベルに条件付けられた画像生成のための新しい条件付きGANフレームワーク、CcGANを紹介する。本研究は、ラベルが疎である場合の不安定な学習と、ラベル符号化の非効率性という2つの主要な課題に取り組む。再定式化された識別器および生成器の損失関数（HVDL/SVDL）と、新たなラベル入力手法（NLI/ILI）を提案し、RC-49やCell-200を含むベンチマークデータセットにおいて、従来のcGANに比べて優れた画像品質と多様性を実証した。

ABSTRACT

This work proposes the continuous conditional generative adversarial network (CcGAN), the first generative model for image generation conditional on continuous, scalar conditions (termed regression labels). Existing conditional GANs (cGANs) are mainly designed for categorical conditions (e.g., class labels); conditioning on regression labels is mathematically distinct and raises two fundamental problems: (P1) Since there may be very few (even zero) real images for some regression labels, minimizing existing empirical versions of cGAN losses (a.k.a. empirical cGAN losses) often fails in practice; (P2) Since regression labels are scalar and infinitely many, conventional label input methods are not applicable. The proposed CcGAN solves the above problems, respectively, by (S1) reformulating existing empirical cGAN losses to be appropriate for the continuous scenario; and (S2) proposing a naive label input (NLI) method and an improved label input (ILI) method to incorporate regression labels into the generator and the discriminator. The reformulation in (S1) leads to two novel empirical discriminator losses, termed the hard vicinal discriminator loss (HVDL) and the soft vicinal discriminator loss (SVDL) respectively, and a novel empirical generator loss. The error bounds of a discriminator trained with HVDL and SVDL are derived under mild assumptions in this work. Two new benchmark datasets (RC-49 and Cell-200) and a novel evaluation metric (Sliding Frechet Inception Distance) are also proposed for this continuous scenario. Our experiments on the Circular 2-D Gaussians, RC-49, UTKFace, Cell-200, and Steering Angle datasets show that CcGAN can generate diverse, high-quality samples from the image distribution conditional on a given regression label. Moreover, in these experiments, CcGAN substantially outperforms cGAN both visually and quantitatively.

研究の動機と目的

• 連続的かつスカラーの回帰ラベルに条件付けられた画像合成のための生成モデルの不足を解消すること。
• ラベルが疎またはゼロショットである場合に、従来のcGANの学習が不安定になる問題を解決すること。
• 従来のワンホット符号化が不適切であるため、連続的条件に対応できる有効なラベル入力メカニズムを設計すること。
• 連続的条件付き画像生成のための新しいベンチマーク（データセットと評価指標を含む）を確立すること。

提案手法

• 連続的条件に対して実用的なcGAN損失を再定式化し、vicinalリスク最小化に基づくハード・ビシナル識別器損失（HVDL）とソフト・ビシナル識別器損失（SVDL）を導入する。
• 連続的条件付け下での真のデータ分布に一致するように生成画像を整える、新たな実用的生成器損失を提案する。
• 生成器および識別器ネットワークに回帰ラベルを埋め込むために、ナイーブラベル入力（NLI）と改善ラベル入力（ILI）の2つの手法を導入する。
• やや弱い仮定の下で、HVDLおよびSVDLで学習された識別器の理論的誤差バウンディングを導出することで、一般化の安定性を保証する。
• 連続的条件付き生成の評価を目的とした2つの新規ベンチマークデータセット（RC-49（回帰条件付き）およびCell-200（細胞画像））を設計する。
• 連続的ラベル値の範囲にわたり、画像品質と多様性を評価できる新しい評価指標、スライディング・フレーチェット・インception距離（SFID）を提案する。

実験結果

リサーチクエスチョン

• RQ1 ラベルが疎またはゼロショットである場合でも、連続的かつスカラーの回帰ラベルに条件付けられた条件付きGANを効果的に学習できるか？
• RQ2 回帰ラベルを生成器および識別器アーキテクチャに効果的に埋め込むにはどうすればよいか？
• RQ3 提案された再定式化された損失関数（HVDLおよびSVDL）は、標準のcGAN損失と比較して、連続的設定下でより優れた一般化性能と学習安定性をもたらすか？
• RQ4 提案された評価指標、スライディング・フレーチェット・インセプション距離（SFID）は、連続的ラベル空間全体で画像品質と多様性を信頼性高く測定できるか？
• RQ5 標準のcGANと比較して、CcGANは連続的条件付き画像生成タスクにおいて視覚的品質と定量的性能の両面で優れているか？

主な発見

• CcGANは、RC-49、UTKFace、Cell-200、Steering Angleを含む複数のデータセットにおいて、標準のcGANに比べて優れた視覚的品質と多様性を達成した。
• 提案されたHVDLおよびSVDL損失は、理論的誤差バウンディングを有し、連続的条件付きGANの安定した学習を可能にする。
• 改善ラベル入力（ILI）手法は、ナイーブラベル入力（NLI）ベースラインと比較して、特徴量学習と生成の忠実度を顕著に向上させた。
• スライディング・フレーチェット・インセプション距離（SFID）指標は、連続的ラベル値の範囲で画像品質と多様性のトレンドを効果的に捉えており、信頼性のあるモデル比較を可能にした。
• RC-49およびCell-200ベンチマークにおいて、CcGANは標準のcGANに対して、定性的および定量的指標の両面で顕著な改善を示した。
• 本フレームワークは、年齢、ポーズ、細胞形態などの連続的ラベルに条件付けられたリアルな画像を、特定のラベルのトレーニングデータが疎または欠落している場合でも、効果的に生成できた。