[논문 리뷰] On Leveraging Pretrained GANs for Generation with Limited Data

Miaoyun Zhao, Yulai Cong외 1명|arXiv (Cornell University)|2020. 02. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 63인용 수 50

한 줄 요약

이 논문은 대규모 데이터 세트에서 사전 학습된 GAN의 저수준 필터를 데이터가 부족한 도메인으로 이전하고, 이를 고정시키고, 적응형 필터 모듈화(AdaFM)를 갖춘 작은 대상 도메인 특화 네트워크를 추가하여 제한된 데이터로 생성 품질을 개선하고, 기초 모델보다 더 나은 FID 점수를 달성한다.

ABSTRACT

Recent work has shown generative adversarial networks (GANs) can generate highly realistic images, that are often indistinguishable (by humans) from real images. Most images so generated are not contained in the training dataset, suggesting potential for augmenting training sets with GAN-generated data. While this scenario is of particular relevance when there are limited data available, there is still the issue of training the GAN itself based on that limited data. To facilitate this, we leverage existing GAN models pretrained on large-scale datasets (like ImageNet) to introduce additional knowledge (which may not exist within the limited data), following the concept of transfer learning. Demonstrated by natural-image generation, we reveal that low-level filters (those close to observations) of both the generator and discriminator of pretrained GANs can be transferred to facilitate generation in a perceptually-distinct target domain with limited training data. To further adapt the transferred filters to the target domain, we propose adaptive filter modulation (AdaFM). An extensive set of experiments is presented to demonstrate the effectiveness of the proposed techniques on generation with limited data.

연구 동기 및 목표

• 한정된 데이터로 목표 도메인에서 생성을 용이하게 하기 위해 사전 학습된 GAN에서 정보를 이전하는 것을 동기 부여한다.
• GAN이 도메인 간에 일반적으로 어느 저수준 필터가 이전 가능하지를 식별한다.
• 이전된 필터를 목표 도메인에 적응시키기 위한 컴팩트한 도메인 특화 헤드와 AdaFM을 제안한다.
• 이전된 필터와 AdaFM을 사용하여 여러 소규모 데이터셋에서 향상된 생성 성능을 입증한다.

제안 방법

• 일반 부분으로서 사전 학습된 GAN(GP-GAN on ImageNet)의 저수준 생성기 및 판별기 필터를 재사용한다.
• 스타일 믹싱을 가능하게 하는 작고 맞춤형 네트워크(SmallHead)로 고수준 도메인 특화 부분을 교체한다.
• 학습 가능한 감마와 베타 파라미터를 통해 이전된 필터를 조절하는 적응형 필터 모듈화(AdaFM)를 도입한다.
• 일반 부분을 고정한 채로 제한된 대상 데이터에서 도메인 특화 헤드와 AdaFM 구성요소를 학습시킨다.
• 여러 대상 데이터셋에 대해 Fréchet Inception Distance(FID)로 평가하고 TransferGAN 및 Scratch 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 제한된 데이터로 지각적으로 다른 대상 도메인에 대해 사전 학습된 GAN의 저수준 필터가 일반화될 수 있는가?
• RQ2 전이된 저수준 필터를 고정하고 컴팩트한 도메인 특화 헤드를 추가하는 것이 데이터 부족하에서 생성의 안정성과 품질을 개선하는가?
• RQ3 AdaFM이 대상 도메인에 이전된 필터를 적응시켜 측정 가능한 이점을 제공하는가?
• RQ4 제안된 접근법이 기존의 전이 방법(예: TransferGAN) 및 제한된 데이터에서 처음부터 학습하는 방법과 어떻게 비교되는가?

주요 결과

• 사전 학습된 GAN으로부터 저수준 생성기/판별기 필터를 이전하는 것은 제한된 데이터의 대상 도메인에서 생성 품질과 학습 효율성을 향상시킨다.
• 컴팩트한 맞춤형 고수준 네트워크(SmallHead)가 과적합을 줄이고 스타일 믹싱을 가능하게 한다.
• AdaFM은 이전된 필터를 대상 도메인에 적응적으로 조절하여 성능을 더욱 향상시킨다.
• CelebA, Flowers, Cars, Cathedral에서 제안된 방법은 60,000 반복 후 TransferGAN 및 Scratch보다 더 낮은 FID 점수를 달성한다.
• 이 방법은 매우 제한된 데이터(1K 및 25 샘플)에서도 안정적이며 AdaFM 및 설계된 아키텍처에서 뚜렷한 이점을 보인다.