[論文レビュー] DeltaGAN: Towards Diverse Few-shot Image Generation with Sample-Specific Delta

Yan Hong, Li Niu+2 more|arXiv (Cornell University)|Jul 21, 2022

Generative Adversarial Networks and Image Synthesis参考文献 79被引用数 4

ひとこと要約

DeltaGANは、再構成サブネットワークと生成サブネットワークを用いて、サポート画像間の変換パターン（サンプル固有のデルタ）を学習することで、多様性を向上させる、新しい少数-shot画像生成フレームワークを提案する。敵対的デルタマッチング損失を導入することで、少数の入力から多様で高品質な画像を生成し、6つのベンチマークデータセットにおいて先行手法を上回る性能を発揮する。

ABSTRACT

Learning to generate new images for a novel category based on only a few images, named as few-shot image generation, has attracted increasing research interest. Several state-of-the-art works have yielded impressive results, but the diversity is still limited. In this work, we propose a novel Delta Generative Adversarial Network (DeltaGAN), which consists of a reconstruction subnetwork and a generation subnetwork. The reconstruction subnetwork captures intra-category transformation, i.e., delta, between same-category pairs. The generation subnetwork generates sample-specific delta for an input image, which is combined with this input image to generate a new image within the same category. Besides, an adversarial delta matching loss is designed to link the above two subnetworks together. Extensive experiments on six benchmark datasets demonstrate the effectiveness of our proposed method. Our code is available at https://github.com/bcmi/DeltaGAN-Few-Shot-Image-Generation.

研究の動機と目的

• 既存の少数-shot画像生成手法では再構成性能は優れているものの、多様性に制限があることに対処する。
• 同じカテゴリのサポート画像間の変換デルタを学習することで、カテゴリ内変動をモデル化する。
• 入力サポート画像にサンプル固有のデルタを適用することで、多様で現実的な画像を生成する。
• 再構成と生成サブネットワークを、敵対的デルタマッチング損失によって統合し、特徴の整合性を向上させる。

提案手法

• 本手法は、同じクラスに属するサポート画像のペア間のカテゴリ内デルタを学習する再構成サブネットワークを採用する。
• 生成サブネットワークは、入力画像に対してサンプル固有のデルタを学習し、それを適用して新しい画像を生成する。
• 生成されたデルタと再構成サブネットワークから得られる実際のデルタを一致させるために、敵対的デルタマッチング損失を導入する。
• 入力画像と生成されたデルタを組み合わせることで、同じカテゴリ内に多様な新しい画像を合成する。
• 再構成と敵対的目的の両方を用いて、少数-shot画像生成ベンチマーク上でエンドツーエンドにモデルを訓練する。
• 性能と多様性の妥当性を検証するため、6つの標準的な少数-shot画像生成データセットでアーキテクチャを評価する。

実験結果

リサーチクエスチョン

• RQ1 サンプル固有のデルタを学習することで、再構成品質を損なわず、少数-shot画像生成の多様性を向上させることができるか？
• RQ2 敵対的デルタマッチングは、生成されたデルタと実際のカテゴリ内変換との一致をどの程度効果的に向上させるか？
• RQ3 DeltaGANは、少数の例から多様で現実的な画像を生成する点で、既存の最先端手法をどの程度上回るか？
• RQ4 再構成と生成サブネットワークは、デルタ表現に対する敵対的損失によって効果的に同期可能か？

主な発見

• DeltaGANは、少数-shot画像生成の6つのベンチマークデータセットにおいて最先端の性能を達成し、優れた多様性と画像品質を示した。
• 敵対的デルタマッチング損失は、生成されたデルタと実際のデルタの一致を顕著に向上させ、生成の忠実度を向上させた。
• InceptionスコアとFID指標による測定において、先行手法と比較してより多様なサンプルを生成した。
• 再構成サブネットワークはカテゴリ内変動を効果的に捉えており、サポート画像ペア間での正確なデルタ学習を可能にした。
• 生成サブネットワークは、入力画像に学習済みのサンプル固有デルタを適用することで、現実的でカテゴリに一貫性のある画像を生成した。
• 除去実験の結果、デルタマッチング損失と二重サブネットワーク設計の両方が、性能向上に不可欠であることが確認された。