[論文レビュー] Dual Contrastive Loss and Attention for GANs

Ning Yu, Guilin Liu+5 more|arXiv (Cornell University)|Mar 31, 2021

Generative Adversarial Networks and Image Synthesis参考文献 100被引用数 5

ひとこと要約

本論文は、GANに基づく画像生成を向上させるために二重対照損失とアテンション機構を提案する。これにより特徴表現と長距離モデリングが顕著に向上する。生成器に新規の対照損失と自己アテンションを組み合わせ、識別器にリファレンスアテンションを導入することで、ベンチマークデータセットではFIDが最低17.5%改善され、CLEVRのような構成的シーンでは最大47.5%改善され、画像の質と現実性において新たな最先端水準を確立した。

ABSTRACT

Generative Adversarial Networks (GANs) produce impressive results on unconditional image generation when powered with large-scale image datasets. Yet generated images are still easy to spot especially on datasets with high variance (e.g. bedroom, church). In this paper, we propose various improvements to further push the boundaries in image generation. Specifically, we propose a novel dual contrastive loss and show that, with this loss, discriminator learns more generalized and distinguishable representations to incentivize generation. In addition, we revisit attention and extensively experiment with different attention blocks in the generator. We find attention to be still an important module for successful image generation even though it was not used in the recent state-of-the-art models. Lastly, we study different attention architectures in the discriminator, and propose a reference attention mechanism. By combining the strengths of these remedies, we improve the compelling state-of-the-art Fréchet Inception Distance (FID) by at least 17.5% on several benchmark datasets. We obtain even more significant improvements on compositional synthetic scenes (up to 47.5% in FID). Code and models are available at https://github.com/ningyu1991/AttentionDualContrastGAN .

研究の動機と目的

• 最新のGAN性能にもかかわらず、生成画像が容易に検出されてしまうという長年の問題に取り組む。
• 識別器の一般化性能と表現学習を向上させ、モード崩壊を低減し、生成品質を向上させる。
• 最近のSOTAモデル（例：StyleGAN2）でアテンションが省かれた背景において、現代のGANにおけるアテンションの役割を再評価する。
• 限定的なデータセットでの学習を安定化させるために、実画像をリファレンスとして利用する新規のリファレンスアテンション機構を識別器に設計する。
• 対照学習とアテンションが組み合わさることで、優れた、より頑健な生成モデルを生み出せることを示す。

提案手法

• 標準の敵対的損失に代わる二重対照損失を導入し、実サンプルと偽サンプルの間でより一般化され、区別可能な表現を識別器が学習できるようにする。
• 生成器に自己アテンションモジュールを統合し、画像領域間の長距離依存関係をモデル化することで、構造的整合性と詳細な生成を向上させる。
• 識別器にリファレンスアテンション機構を提案。2つのシアン型ブランチが、実リファレンス画像と主画像（実または生成）を処理し、実画像によってアテンションが誘導されることで過学習を低減する。
• 実画像と偽画像の特徴の正例対と負例対を比較する対照学習フレームワークを用い、識別力と特徴の多様性を向上させる。
• 二重対照損失を用いたミニマックス目的でGANを学習し、生成器により良い勾配信号を供給する。
• 二重対照損失と生成器における自己アテンション、識別器におけるリファレンスアテンションを組み合わせることで、画像品質における相乗効果を達成する。

実験結果

リサーチクエスチョン

• RQ1 二重対照損失は、標準のGAN損失と比較して識別器の一般化性能を向上させ、画像生成品質を向上させるか？
• RQ2 最近のSOTAモデル（例：StyleGAN2）でアテンションが省かれた状況下でも、アテンション機構はGAN性能を向上させ続けられるか？
• RQ3 アテンション機構の選択が、さまざまなデータセットおよびデータスケールにおける生成器・識別器の性能に与える影響は何か？
• RQ4 提案された識別器におけるリファレンスアテンション機構は、特にスケールが限定されたデータセットにおいて一般化性能を向上させるか？
• RQ5 対照学習とアテンションの併用効果は、特にCLEVRのような複雑な構成的シーンにおける画像生成品質にどのように影響するか？

主な発見

• 二重対照損失はCLEVRデータセットでFIDを最大37%低下させ、一般化性能と表現学習の顕著な向上を示した。
• 生成器における自己アテンションと二重対照損失の組み合わせにより、複数のスケールが大きなデータセットでFIDが最低17.5%相対的に改善された。
• CLEVRデータセットでは、特に遮蔽、影、反射を伴うシーンにおいて、色の漏れ、不連続性、構造的誤りなどのアーチファクトが低減された。
• リファレンスアテンション識別器は、実リファレンス画像を活用してアテンションを誘導することで、スケールが限定されたデータセットでの性能を向上させた。
• ベッドルームデータセットでは、自己アテンション生成器がFIDを最大13.3%改善した。これは、複雑で分散の大きなシーンにおいてアテンションの利点を示している。
• FFHQデータセットでは、自己アテンションが性能向上をもたらさなかった。これは顔のランドマークアライメントが局所的インダクティブバイアスを補完しているためであり、アテンションの利点が文脈依存である可能性を示唆している。