[論文レビュー] DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network

Rui Liu, Yixiao Ge+3 more|arXiv (Cornell University)|Mar 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 4

ひとこと要約

本稿では、潜在空間における自己増強型対照損失を用いて生成画像同士の正例および負例の関係を同時にモデル化することにより、多様な条件付き画像生成を向上させる、新しい対照学習ベースのフレームワーク、DivCoを提案する。近い潜在コードから生成された画像同士の類似性を促進し、遠く離れた潜在コードから生成された画像同士の非類似性を促進することで、DivCoはモード崩壊を効果的に軽減するとともに、画像品質を維持し、非対応および対応画像生成の両タスクで最先端の手法を上回る性能を達成する。

ABSTRACT

Conditional generative adversarial networks (cGANs) target at synthesizing diverse images given the input conditions and latent codes, but unfortunately, they usually suffer from the issue of mode collapse. To solve this issue, previous works mainly focused on encouraging the correlation between the latent codes and their generated images, while ignoring the relations between images generated from various latent codes. The recent MSGAN tried to encourage the diversity of the generated image but only considers "negative" relations between the image pairs. In this paper, we propose a novel DivCo framework to properly constrain both "positive" and "negative" relations between the generated images specified in the latent space. To the best of our knowledge, this is the first attempt to use contrastive learning for diverse conditional image synthesis. A novel latent-augmented contrastive loss is introduced, which encourages images generated from adjacent latent codes to be similar and those generated from distinct latent codes to be dissimilar. The proposed latent-augmented contrastive loss is well compatible with various cGAN architectures. Extensive experiments demonstrate that the proposed DivCo can produce more diverse images than state-of-the-art methods without sacrificing visual quality in multiple unpaired and paired image generation tasks.

研究の動機と目的

• 潜在コードを用いても画像生成の多様性が制限される条件付きGANにおけるモード崩壊を解消すること。
• 異なる潜在コードから生成された画像同士の正例（類似）および負例（非類似）の関係をモデル化することで、生成の多様性を向上させること。
• アーキテクチャの変更を要せず、さまざまなcGANアーキテクチャと互換性を持つ手法を開発すること。
• 条件付き入力と潜在コードの影響の間のより良い分離を達成し、両者へのバイアスを回避すること。

提案手法

• 近い潜在コードから生成された画像を「正例」として扱い、遠く離れた潜在コードから生成された画像を「負例」として扱う、新しい潜在空間自己増強型対照損失を導入する。
• クエリとなる潜在コードの周囲にハイパースフィアを設定し、その内部にいるサンプルを正例、外部にいるサンプルを負例として定義する。
• 生成画像の特徴空間において対照学習を適用し、正例ペアでは特徴の類似性を、負例ペアでは特徴の非類似性を促進する。
• 標準的なcGANの目的関数に、対照損失を正則化項として統合することで、既存のアーキテクチャとの互換性を維持する。
• 訓練の安定化と特徴の識別能向上を図るため、温度スケーリングを施した対照損失を適用する。
• 本フレームワークは、非対応および対応画像変換タスク、およびクラス条件付き画像生成に応用可能である。

実験結果

リサーチクエスチョン

• RQ1 生成画像同士の正例および負例の関係をモデル化することで、条件付き画像生成における多様性が向上するか？
• RQ2 正例／負例ペアの定義に潜在コードの近接性を組み込むことで、モード崩壊の軽減にどのような影響を与えるか？
• RQ3 アーキテクチャの変更なしに、対照学習を条件付き画像生成に効果的に適応できるか？
• RQ4 複数のデータセットおよび設定において、本手法は従来手法と比較して、画像品質および多様性の両面で優れているか？

主な発見

• CIFAR-10におけるクラス条件付き画像生成タスクにおいて、DivCoはFIDが25.21 ± 0.20と最低を記録し、DCGAN（28.34 ± 0.12）およびMSGAN（27.09 ± 0.14）を上回る性能を示した。
• CityscapesおよびWinter2Summerデータセットにおいて、Qualitativeな比較で赤い十字が示すように、DivCoはDRITおよびMSGANよりも顕著に多様な画像を生成した。
• 感度分析の結果、対照損失の最適な重み（λ_contra）は1であり、3を超えると過剰にリアルさを罰するため、性能が急激に低下することが判明した。
• FIDとユーザー評価の両方で、本手法は優れた多様性を維持しながらも、高い視覚的品質を保った。
• ハイパースフィアの半径（R）は強く影響を与える：大きすぎたり小さすぎたりすると性能が低下し、適切なハイパーパrameterチューニングの必要性が示された。
• 温度ハイパーパrameter τは慎重に設定する必要がある；極端に高い値または低い値に設定すると性能が低下し、このスケーリング要因に対する感受性が確認された。