[論文レビュー] Few-shot Image Generation with Diffusion Models

Jingyuan Zhu, Huimin Ma+2 more|arXiv (Cornell University)|Nov 7, 2022

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本稿では、拡散モデルを用いた少数ショット画像生成のための新しいペairワイズ適応手法DDPM-PAを提案する。微調整中に相対的サンプル距離を維持し、高周波成分の詳細を強化することで、直接微調整されたDDPMや最先端のGANベース手法に比べ、特に低データ環境下でも多様性と品質が顕著に向上する。

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have been proven capable of synthesizing high-quality images with remarkable diversity when trained on large amounts of data. However, to our knowledge, few-shot image generation tasks have yet to be studied with DDPM-based approaches. Modern approaches are mainly built on Generative Adversarial Networks (GANs) and adapt models pre-trained on large source domains to target domains using a few available samples. In this paper, we make the first attempt to study when do DDPMs overfit and suffer severe diversity degradation as training data become scarce. Then we fine-tune DDPMs pre-trained on large source domains to solve the overfitting problem when training data is limited. Although the directly fine-tuned models accelerate convergence and improve generation quality and diversity compared with training from scratch, they still fail to retain some diverse features and can only produce coarse images. Therefore, we design a DDPM pairwise adaptation (DDPM-PA) approach to optimize few-shot DDPM domain adaptation. DDPM-PA efficiently preserves information learned from source domains by keeping the relative pairwise distances between generated samples during adaptation. Besides, DDPM-PA enhances the learning of high-frequency details from source models and limited training data. DDPM-PA further improves generation quality and diversity and achieves results better than current state-of-the-art GAN-based approaches. We demonstrate the effectiveness of our approach on a series of few-shot image generation tasks qualitatively and quantitatively.

研究の動機と目的

• 訓練データが限られる状況での拡散モデルにおける過学習と多様性の低下を調査すること。
• 少数ショット条件下でも粗く、多様性に欠けるサンプルを生成してしまう、直接微調整されたDDPMの限界を解消すること。
• 少数の画像での適応においても、ソースドメインの知識を保持しつつ、ターゲットドメインに適応する手法を開発すること。
• 現在のGANベースの少数ショット適応手法を凌駕する生成品質と多様性を向上させること。

提案手法

• 生成サンプル間の相対的距離を維持することで多様性を保つためのペアワイズ類似度損失を導入する。
• ソースモデルの知識と限られたターゲットデータを活用して、高周波成分の詳細を強化するメカニズムを設計する。
• 多様性と詳細の忠実度の両方を最適化しながら、事前学習済みDDPMを少数のターゲットデータで微調整することで、本手法を適用する。
• 適応過程における多様性を定量的に評価するために、Nearest-LPIPSメトリクスを用いる。
• 再構成、多様性、高周波成分学習のバランスを取るための修正された学習目的関数を採用する。
• 生成画像内の高周波成分を分析・維持するために、ハールウェーブレット変換を用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られるようになるにつれて、DDPMはどの段階で過学習を始め、多様性を失うのか？
• RQ2 なぜ直接微調整されたDDPMは、限られたデータでも高品質で多様な画像を生成できないのか？
• RQ3 少数ショットドメイン適応の過程で、生成サンプル間の相対的構造的関係をどのように保持できるか？
• RQ4 少数のターゲットサンプルのみを用いて、高周波成分を効果的に強化できるか？
• RQ5 提案手法は、最先端のGANベースの少数ショット画像生成手法を上回るか？

主な発見

• 10ショット画像生成タスクにおいて、直接微調整されたDDPMおよび最先端のGANベース手法に比べ、DDPM-PAは優れた画像品質と多様性を達成する。
• 本手法は過学習を低減し、直接微調整されたDDPMが一般的に生じる粗くぼやけた出力の問題を回避する。
• 特に教会から風景画への複雑なスタイル転送のような状況でも、ソースドメインの基本的構造を保持しつつ、ターゲットドメインのスタイルを効果的に学習する。
• Nearest-LPIPSメトリクスによる測定で、本手法はサンプル品質を損なわせることなく、生成の多様性を向上させる。
• 事前学習モデルの初期化のおかげで、わずか3,000～5,000イテレーションで収束速度と最終性能が向上する。
• 性能向上にかかわらず、標準のDDPMと比較して学習時間は24.14%しか増加しないため、計算的にも効率的である。