[논문 리뷰] FIGR: Few-shot Image Generation with Reptile

Louis Clouâtre, Marc Demers|arXiv (Cornell University)|2019. 01. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 60

한 줄 요약

FIGR은 Reptile로 GAN을 메타-훈련하여 MNIST와 Omniglot에서 겨우 4개 샘플로도 적은 샷의 이미지 생성을 가능하게 하고, 대규모의 few-shot 벤치마크 데이터셋인 FIGR-8를 도입한다.

ABSTRACT

Generative Adversarial Networks (GAN) boast impressive capacity to generate realistic images. However, like much of the field of deep learning, they require an inordinate amount of data to produce results, thereby limiting their usefulness in generating novelty. In the same vein, recent advances in meta-learning have opened the door to many few-shot learning applications. In the present work, we propose Few-shot Image Generation using Reptile (FIGR), a GAN meta-trained with Reptile. Our model successfully generates novel images on both MNIST and Omniglot with as little as 4 images from an unseen class. We further contribute FIGR-8, a new dataset for few-shot image generation, which contains 1,548,944 icons categorized in over 18,409 classes. Trained on FIGR-8, initial results show that our model can generalize to more advanced concepts (such as "bird" and "knife") from as few as 8 samples from a previously unseen class of images and as little as 10 training steps through those 8 images. This work demonstrates the potential of training a GAN for few-shot image generation and aims to set a new benchmark for future work in the domain.

연구 동기 및 목표

• few-shot 이미지 생성의 문제를 정의하고 GAN에 대한 메타러닝의 필요성을 제시한다.
• Reptile을 사용하여 최소 데이터로 보지 않은 클래스에 적응하도록 하는 GAN 메타-훈련 프레임워크 FIGR를 제안한다.
• few-shot 이미지 생성을 벤치마크하기 위한 대규모 데이터셳 FIGR-8을 소개한다.
• FIGR이 4개 샘플에 불과한 매우 작은 지원 세트로도 보지 않은 클래스의 새로운 이미지를 생성할 수 있음을 보여준다.

제안 방법

• GAN 학습에 대해 gradient penalty가 있는 Wasserstein 손실을 사용한다.
• 작업별 데이터에 대한 내부 SGD 업데이트를 사용하여 Reptile 알고리즘으로 생성자와 판별자를 모두 메타-훈련한다.
• W_tau를 통해 초기 가중치를 작업-적응 가중치(Phi_d, Phi_g)로 이동시키는 외부 루프 업데이트를 채택하여 빠른 적응을 가능하게 한다.
• 주어진 작업의 클래스에서 n 샘플을 사용하여 K gradient-step의 내부 루프를 적용한다.
• 메타-훈련 후, 새로운 클래스에 대해 소수의 반복으로 생성자/판별기를 추가 업데이트하여 few-shot 생성을 수행한다.
• 보지 않은 클래스 생성을 평가하기 위해 MNIST, Omniglot, FIGR-8 데이터셋으로 실험한다.

실험 결과

연구 질문

• RQ1 GAN을 메타러닝으로 학습시켜 보지 않은 클래스의 이미지를 몇 가지 예제로 생성할 수 있는가?
• RQ2 Reptile 기반의 메타-훈련이 GAN의 빠른 적응을 few-shot 이미지 생성에 어떻게 가능하게 하는가?
• RQ3 표준 few-shot 벤치마크(MNIST, Omniglot)와 대규모 FIGR-8 데이터셋에서 FIGR의 성능은 어떠한가?
• RQ4 이 접근 방식은 그레이스케일 이미지와 외부 메모리 또는 긴 추론 없이도 작동하는가?

주요 결과

• FIGR은 보이지 않는 MNIST 숫자에서 단 4개의 샘플로도 이미지를 생성할 수 있다.
• Omniglot에서 FIGR은 빠른 적응과 작은 지원 세트에서의 합리적인 생성 품질을 보여준다.
• FIGR-8은 18,409개 클래스에 걸친 1,548,944장의 이미지를 포함하며 few-shot 생성에 대한 도전적인 벤치마크를 제공한다.
• FIGR-8에 대한 예비 결과는 모델이 8개의 샘플과 10개의 학습 단계에서 새와 유사한 모양과 같은 개념을 학습할 수 있음을 보인다.
• 이 방법은 외부 메모리나 긴 순차 추론을 필요로 하지 않으며 Reptile 메타-훈련을 사용하는 GAN 프레임워크를 활용한다.
• Wasserstein 손실과 gradient penalty로의 학습은 데이터셋 간에 안정적인 성능을 보인다.