[論文レビュー] Fast-converging Conditional Generative Adversarial Networks for Image Synthesis

Chengcheng Li, Zi Wang+1 more|arXiv (Cornell University)|May 5, 2018

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、本番のクラスと専用の「偽物」クラスを区別する高度な補助分類器を導入することで、本番のサンプルと生成されたサンプルの混同を回避し、トレーニングを高速化するFast-converging Conditional GAN (FC-GAN) を提案する。この手法は、MNISTおよびCIFAR-10データセットにおいて、AC-GANと比較してより速い収束と競争力のある画像品質を達成しており、トレーニングの均衡に至るまでの時間が最大30%短縮される。

ABSTRACT

Building on top of the success of generative adversarial networks (GANs), conditional GANs attempt to better direct the data generation process by conditioning with certain additional information. Inspired by the most recent AC-GAN, in this paper we propose a fast-converging conditional GAN (FC-GAN). In addition to the real/fake classifier used in vanilla GANs, our discriminator has an advanced auxiliary classifier which distinguishes each real class from an extra `fake' class. The `fake' class avoids mixing generated data with real data, which can potentially confuse the classification of real data as AC-GAN does, and makes the advanced auxiliary classifier behave as another real/fake classifier. As a result, FC-GAN can accelerate the process of differentiation of all classes, thus boost the convergence speed. Experimental results on image synthesis demonstrate our model is competitive in the quality of images generated while achieving a faster convergence rate.

研究の動機と目的

• 条件付きGANの収束が遅い問題に取り組み、特に複数のクラスにまたがる本番のサンプルと生成されたサンプルを区別する困難さを解消すること。
• 識別器の補助分類器を再設計することで、本番データと生成データを同じクラスに混在させないことで、トレーニングの安定性と速度を向上させること。
• 識別器が同時にクラス固有の特徴と本物／偽物の区別を学習できるようにすること。
• 画像生成タスクにおける画像品質を損なわずに収束速度を向上させること。
• MNISTやCIFAR-10などの標準ベンチマークで、定量的および定性的な評価を通じて手法の有効性を検証すること。

提案手法

• FC-GANの識別器には、本番のサンプルをその真のクラスに割り当て、生成されたサンプルを本番のクラスとは異なる専用の「偽物」クラスに割り当てる高度な補助分類器が組み込まれている。
• この設計により、AC-GANのように本番データと生成データを同じクラスに混在させることによる分類器の混乱を回避でき、クラス識別性能が向上する。
• 「偽物」クラスの導入により、補助分類器が二次的な本物／偽物識別器としても機能し、主な識別器の目的を強化できる。
• 全体の損失関数は、標準的なGAN損失（ソース損失）と、N+1クラス（N個の本番クラス + 1つの偽物クラス）における分類損失を組み合わせたものである。
• 生成器は、潜在ノイズとクラスラベルの両方に条件付けられており、クラス制御された画像生成を保証している。
• アーキテクチャは、バッチ正則化とReLU活性化関数を用いた畳み込み層およびデコンボリューション層で構成されており、MNISTの詳細は表1に示す。

実験結果

リサーチクエスチョン

• RQ1 補助分類器に専用の「偽物」クラスを導入することで、条件付きGANの収束速度が向上するか？
• RQ2 分類ヘッドで本番データと生成データを分離することで、混乱が軽減され、トレーニングの安定性が向上するか？
• RQ3 補助分類器が同時に本物／偽物識別器としても機能し得るか、これにより全体のGANトレーニングのダイナミクスが向上するか？
• RQ4 標準ベンチマーク上でのFC-GANとAC-GANの収束速度および画像品質の比較において、どのような差異が生じるか？
• RQ5 本手法は、トレーニングの高速化を図りながらも、画像の忠実性と多様性を維持または向上させるか？

主な発見

• MNISTでは、FC-GANが約13エポックで収束するのに対し、AC-GANは20エポックを要するため、トレーニングの高速化が顕著に観察された。
• CIFAR-10では、FC-GANは20エポックでAC-GANと同等の性能に到達するが、AC-GANは50エポック以上を要して同程度の結果に到達する。
• CIFAR-10におけるパルゼン窓推定値は、AC-GANの581.8 ± 5.4からFC-GANの646.9 ± 5.3に向上し、密度推定性能の向上が示された。
• CIFAR-10におけるインセプションスコアは、AC-GANの4.190 ± 0.08からFC-GANの6.360 ± 0.14に上昇し、画像品質と多様性の向上が裏付けられた。
• MNISTでは、FC-GANがAC-GANの2.216 ± 0.04よりもわずかに高いインセプションスコア（2.238 ± 0.03）を達成しており、パルゼン窓推定値の改善は限定的であった。
• 可視化されたサンプルでは、FC-GANは10エポックでシャープで多様性のある数字を生成しているのに対し、AC-GANは20エポック以上を経てやっと同程度の品質に到達している。