[論文レビュー] Training GANs with Stronger Augmentations via Contrastive Discriminator

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|Mar 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 58被引用数 23

ひとこと要約

本論文では、訓練の不安定化を招かずに強力なデータ拡張を可能にする対照的ディスクライマネーションであるContraDを提案する。これによりFIDスコアとISスコアが著しく向上する。対照的表現学習を通じて本物と偽物のサンプルを一致させることで、Discriminatorの一般化性能が向上し、潜在変数サンプリングによる教師なし条件付き生成が可能になる。

ABSTRACT

Recent works in Generative Adversarial Networks (GANs) are actively revisiting various data augmentation techniques as an effective way to prevent discriminator overfitting. It is still unclear, however, that which augmentations could actually improve GANs, and in particular, how to apply a wider range of augmentations in training. In this paper, we propose a novel way to address these questions by incorporating a recent contrastive representation learning scheme into the GAN discriminator, coined ContraD. This fusion enables the discriminators to work with much stronger augmentations without increasing their training instability, thereby preventing the discriminator overfitting issue in GANs more effectively. Even better, we observe that the contrastive learning itself also benefits from our GAN training, i.e., by maintaining discriminative features between real and fake samples, suggesting a strong coherence between the two worlds: good contrastive representations are also good for GAN discriminators, and vice versa. Our experimental results show that GANs with ContraD consistently improve FID and IS compared to other recent techniques incorporating data augmentations, still maintaining highly discriminative features in the discriminator in terms of the linear evaluation. Finally, as a byproduct, we also show that our GANs trained in an unsupervised manner (without labels) can induce many conditional generative models via a simple latent sampling, leveraging the learned features of ContraD. Code is available at this https URL.

研究の動機と目的

• 限定的なデータ拡張によって引き起こされるGANにおけるディスクライマネーションの過学習を解消すること。
• 安定化された状態で強力な拡張を用いることでGANの性能が向上するかを検証すること。
• 対照的表現学習をGANのディスクライマネーションに統合し、特徴の識別能を向上させること。
• 対照的学習とGAN訓練の間の相互的利点を調査すること。
• 学習済み特徴を活用して、教師なしGANから条件付き生成を可能にすること。

提案手法

• データ拡張に対して不変な表現を学習できるように、GANのディスクライマネーションに対照的学習の目的関数を統合する。
• 訓練中に本物および偽物の画像の両方に対して強い拡張（例：ランダムクロップ、カラーフィルタ）を適用する。
• MoCo や SimCLR と同様に、モーメンタムエンコーダーを用いて対照的学習のプロセスを安定化する。
• 同じサンプルの拡張ビュー間の対照的類似度を最大化する一方で、本物と偽物のサンプルを識別するようにディスクライマネーションを訓練する。
• 重み付き組み合わせを用いてGAN損失と対照的損失を同時に最適化する。
• 最終的なディスクライマネーション特徴を、条件付き生成のための潜在空間サンプリングを含む、下流タスクに活用する。

実験結果

リサーチクエスチョン

• RQ1 訓練の不安定化を伴わずに、GAN訓練に強力なデータ拡張を効果的に使用できるか？
• RQ2 対照的表現学習を組み込むことで、GANディスクライマネーションの一般化性能が向上するか？
• RQ3 対照的学習とGAN訓練の間には、特徴品質の面で相互的な利点があるか？
• RQ4 ContraDを搭載した教師なしGANは、ラベルなしで条件付きサンプルを生成できるか？
• RQ5 FIDとISスコアにおいて、ContraDは他の拡張統合GAN手法と比較してどう異なるか？

主な発見

• ContraDを搭載したGANは、最近の拡張ベースのGAN手法と比較して、一貫して低いFIDスコアと高いISスコアを達成する。
• 線形評価プロトコルによる検証で、ContraDで訓練されたディスクライマネーションは、顕著な識別能を持つ特徴を維持していることが確認された。
• 対照的学習による安定化効果のおかげで、強力な拡張が効果的に活用されている。
• 対照的目的関数が学習済み表現の品質を向上させ、その結果、GANの性能が向上した。
• ContraDで訓練された教師なしGANは、潜在空間におけるサンプリングを活用して、ラベルなしで条件付きサンプルを生成できる。
• 対照的表現学習とGAN訓練の間には、強い一貫性が確認され、より良い表現がより良いGANを生み、逆に良いGANがより良い表現を生み出すという相互的な好循環が成立している。