[논문 리뷰] Few-shot Image Generation with Diffusion Models

Jingyuan Zhu, Huimin Ma외 2명|arXiv (Cornell University)|2022. 11. 07.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 논문은 확산 모델을 사용한 소수의 이미지 생성을 위한 새로운 쌍체적 적응 방법인 DDPM-PA를 제안한다. 미세조정 중 상대적 샘플 거리를 유지하고 고주파 성분을 강화함으로써, 직접 미세조정된 DDPM 및 최신 GAN 기반 접근법에 비해 특히 저자료 환경에서 다양성과 품질을 크게 향상시킨다.

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have been proven capable of synthesizing high-quality images with remarkable diversity when trained on large amounts of data. However, to our knowledge, few-shot image generation tasks have yet to be studied with DDPM-based approaches. Modern approaches are mainly built on Generative Adversarial Networks (GANs) and adapt models pre-trained on large source domains to target domains using a few available samples. In this paper, we make the first attempt to study when do DDPMs overfit and suffer severe diversity degradation as training data become scarce. Then we fine-tune DDPMs pre-trained on large source domains to solve the overfitting problem when training data is limited. Although the directly fine-tuned models accelerate convergence and improve generation quality and diversity compared with training from scratch, they still fail to retain some diverse features and can only produce coarse images. Therefore, we design a DDPM pairwise adaptation (DDPM-PA) approach to optimize few-shot DDPM domain adaptation. DDPM-PA efficiently preserves information learned from source domains by keeping the relative pairwise distances between generated samples during adaptation. Besides, DDPM-PA enhances the learning of high-frequency details from source models and limited training data. DDPM-PA further improves generation quality and diversity and achieves results better than current state-of-the-art GAN-based approaches. We demonstrate the effectiveness of our approach on a series of few-shot image generation tasks qualitatively and quantitatively.

연구 동기 및 목표

• 훈련 데이터가 부족할 때 확산 모델에서 과적합화 및 다양성 저하가 발생하는 원인을 탐구하기 위해.
• 소수의 조건에서 직접 미세조정된 DDPM의 한계를 해결하기 위해, 즉 낮은 다양성과 굵은 품질의 출력을 내보내는 문제를 해결하기 위해.
• 소수의 이미지로만 이루어진 타겟 도메인에 적응하면서 원천 도메인 지식을 유지하는 방법을 개발하기 위해.
• 현재의 GAN 기반 소수 이미지 적응 방법을 초월하여 생성 품질과 다양성을 향상시키기 위해.

제안 방법

• 생성 샘플 간의 상대적 거리를 유지함으로써 다양성을 보존하는 쌍체적 유사도 손실을 도입한다.
• 원천 모델 지식과 제한된 타겟 데이터를 모두 활용하는 고주파 세부 사항 강화 메커니즘을 설계한다.
• 다양성과 세부 사항 충실도를 동시에 최적화하면서 사전 훈련된 DDPM을 소수의 타겟 데이터로 미세조정함으로써 방법을 적용한다.
• 적응 과정 중 다양성을 정량적으로 평가하기 위해 Nearest-LPIPS 지표를 사용한다.
• 재구성, 다양성, 고주파 세부 사항 학습을 균형 잡는 수정된 훈련 목표를 활용한다.
• 생성된 이미지의 고주파 성분을 분석하고 유지하기 위해 하르 웨이블릿 변환을 활용한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 부족해질수록 DDPM은 어느 시점에서 과적합화가 시작되고 다양성이 감소하는가?
• RQ2 왜 직접 미세조정된 DDPM은 제한된 데이터로도 고품질이고 다양한 이미지를 생성하지 못하는가?
• RQ3 소수의 도메인 적응 과정에서 생성된 샘플 간의 상대적 구조적 관계를 어떻게 유지할 수 있는가?
• RQ4 소수의 타겟 샘플만으로도 고주파 세부 사항을 효과적으로 강화할 수 있는가?
• RQ5 제안된 방법은 최신의 GAN 기반 소수 이미지 생성 접근법을 초월하는가?

주요 결과

• 10-shot 이미지 생성 작업에서 직접 미세조정된 DDPM 및 최신 GAN 기반 방법에 비해 DDPM-PA는 훨씬 뛰어난 이미지 품질과 다양성을 달성한다.
• 방법은 과적합화를 줄이고, 직접 미세조정된 DDPM에서 흔히 발생하는 굵고 흐릿한 출력을 방지한다.
• 특히 교회에서 풍경 드로잉으로의 복잡한 스타일 전이 상황에서 원천 도메인의 기본 구조를 유지하면서도 타겟 도메인 스타일을 효과적으로 학습한다.
• Nearest-LPIPS 지표로 측정한 바에 따르면, 샘플 품질을 희생시키지 않고도 생성 다양성을 증가시킨다.
• 사전 훈련된 모델 초기화 덕분에 단지 3,000~5,000 반복만으로도 수렴 속도와 최종 성능이 향상된다.
• 성능 향상에도 불구하고, 표준 DDPM에 비해 훈련 시간이 오직 24.14% 증가하여 계산적으로 효율적이다.