[論文レビュー] ContraGAN: Contrastive Learning for Conditional Image Generation

Minguk Kang, Jaesik Park|arXiv (Cornell University)|Jun 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 69被引用数 77

ひとこと要約

ContraGANは、バッチ内のデータ間およびデータとクラス間の関係を活用する条件付き対照損失（2C損失）を導入し、条件付き画像生成を強化し識別器の過適合を低減させる。Tiny ImageNetおよびImageNetで顕著なFIDの改善を示す。

ABSTRACT

Conditional image generation is the task of generating diverse images using class label information. Although many conditional Generative Adversarial Networks (GAN) have shown realistic results, such methods consider pairwise relations between the embedding of an image and the embedding of the corresponding label (data-to-class relations) as the conditioning losses. In this paper, we propose ContraGAN that considers relations between multiple image embeddings in the same batch (data-to-data relations) as well as the data-to-class relations by using a conditional contrastive loss. The discriminator of ContraGAN discriminates the authenticity of given samples and minimizes a contrastive objective to learn the relations between training images. Simultaneously, the generator tries to generate realistic images that deceive the authenticity and have a low contrastive loss. The experimental results show that ContraGAN outperforms state-of-the-art-models by 7.3% and 7.7% on Tiny ImageNet and ImageNet datasets, respectively. Besides, we experimentally demonstrate that contrastive learning helps to relieve the overfitting of the discriminator. For a fair comparison, we re-implement twelve state-of-the-art GANs using the PyTorch library. The software package is available at https://github.com/POSTECH-CVLab/PyTorch-StudioGAN.

研究の動機と目的

• GANにおけるデータ対クラス損失を超えてデータ間の関係を組み込むことで conditioningを動機づける。
• 新規の2C（ツーウェイ）対照損失を提案し、画像埋め込みとクラス埋め込みを共同で用いる。
• 2C損失をGANフレームワーク（ContraGAN）へ統合し、リアリズムと多様性を向上させつつ訓練を安定化する。
• ContraGANをCIFAR10、Tiny ImageNet、ImageNetで、最先端の条件付きGANおよび大規模GANと比較評価する。

提案手法

• ミニバッチ内でデータ対クラスおよびデータ対データの関係を用いる条件付き対照損失（2C損失）を導入する。
• エンコーダーSと射影ヘッドhを定義し、画像を単位半径球面上の埋め込みへ写像する。
• 標準的な条件付け損失を2C損失で置換または augment し、同一クラスの画像埋め込みを引き寄せ、それ以外を離すと同時に、埋め込みをそのクラス埋め込みe(y)と整合させる。
• l(xi, yi; t) を、同一クラスのネガティブを含む対照目的として定式化し、データ対データおよびデータ対クラスの監督を可能にする。
• 本物のサンプルには補助的な2C損失を適用するディスクリミネータを訓練し、生成サンプルにも2C損失を取り入れて生成器を導く。
• 2C損失がディスクリミネータの過剰適合を低減し、バックボーンアーキテクチャ（DCGAN、ResGAN、BigGAN）およびデータセット全体でサンプル品質を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 バッチ内のデータ対データ関係を活用する対照的な目的が、従来のデータ対クラス条件付けを超えて条件付き画像生成を改善できるか。
• RQ2 提案する2C損失は、大規模な条件付き生成タスクにおいてGAN訓練を安定化し、識別器の過剰適合を低減できるか。
• RQ3 CIFAR10、Tiny ImageNet、ImageNetにおいて、一般的なバックボーン上で2C損失を統合した場合の生成品質（FID）にどの程度の実証的向上があるか。

主な発見

Dataset	SNResGAN [4]	SAGAN [5]	BigGAN [6]	ContraGAN（Our）	Improvement
CIFAR10 [24]	*17.5	17.127 ± 0.220	*14.73/10.739 ± 0.016	10.597 ± 0.273	*+28.1%/ +1.3 %
Tiny ImageNet [25]	47.055 ± 3.234	46.221 ± 3.655	31.771 ± 3.968	29.492 ± 1.296	+7.2 %
ImageNet [18]	-	-	21.072	19.443	+7.7 %

• ContraGANはTiny ImageNetで7.3%、ImageNetで7.7%のFIDの改善という最先端の結果を達成。
• CIFAR10では、Table 3のアートモデルベースラインと比較してFIDが1.3%低下。
• ContraGANはProjGANと比較して、同程度の条件下で識別器の過剰適合を抑え、より安定した訓練を示す。
• アブレーション実験では、2C損失がベースラインに対してFIDを大幅に低減し、バッチサイズの増加と一貫性正則化の恩恵を受ける。
• ContraGANの2C損失は、ハードネガティブマイニングや広範な拡張を必要とせず、データ対データの関係を明示的に活用。