[논문 리뷰] Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then Training It Toughly.

Tianlong Chen, Yu Cheng외 3명|arXiv (Cornell University)|2021. 02. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 83인용 수 15

한 줄 요약

이 논문은 사전 훈련된 GAN에서 희박하고 독립적으로 훈련 가능한 로또 티켓 하위신경망을 먼저 식별한 후, 동일한 소규모 실사진 데이터셋을 사용하여 이 하위신경망을 데이터 및 특징 증강을 통해 강하게 훈련하는 이단계 초저비용 데이터 GAN 훈련 프레임워크를 제안한다. 이 방법은 사전 훈련이 필요 없이 단지 100장의 실사진으로부터 고해상도 이미지를 생성하며, 다양한 GAN 아키텍처와 데이터셋에서 강력한 소수의 샘플 일반화 성능을 보여준다.

ABSTRACT

Training generative adversarial networks (GANs) with limited data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation of Kalibhat et al. (2020); Chen et al.(2021d), that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we decompose the data-hungry GAN training into two sequential sub-problems: (i) identifying the lottery ticket from the original GAN; then (ii) training the found sparse subnetwork with aggressive data and feature augmentations. Both sub-problems re-use the same small training set of real images. Such a coordinated framework enables us to focus on lower-complexity and more data-efficient sub-problems, effectively stabilizing training and improving convergence. Comprehensive experiments endorse the effectiveness of our proposed ultra-data-efficient training framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet). Besides, our training framework also displays powerful few-shot generalization ability, i.e., generating high-fidelity images by training from scratch with just 100 real images, without any pre-training. Codes are available at: this https URL.

연구 동기 및 목표

• 제한된 실사진 데이터로 훈련할 때의 열악한 GAN 성능과 모드 붕괴 문제를 해결한다.
• GAN 내부에 존재하는 로또 티켓—희박하고 훈련 가능한 하위신경망—의 인덕티브 바이어스를 활용하여 데이터 효율성을 향상시킨다.
• 데이터 집약적인 GAN 훈련을 두 단계의 순차적이고 데이터 효율적인 하위문제로 분해한다: 로또 티켓 식별 및 집중적 훈련.
• 단지 100장의 실사진으로부터 시작하여 고해상도 이미지 생성을 가능하게 하며, 강력한 소수의 샘플 일반화 성능을 달성한다.
• SNGAN, BigGAN, StyleGAN2 등의 다양한 GAN 아키텍처와 CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet 등의 다양한 데이터셋에서 이 프레임워크의 효과성을 입증한다.

제안 방법

• 로또 티켓 가설에 따라 반복적인 크기 기반 프루닝과 재훈련을 통해 사전 훈련된 GAN 내에서 로또 티켓 하위신경망을 식별한다.
• 로또 티켓 식별과 후속 훈련에 동일한 소규모 실사진 데이터셋을 사용하여 데이터 중복을 최소화한다.
• 두 번째 훈련 단계 동안 강력한 데이터 증강(예: 무작위 자르기, 색상 왜곡)과 특징 수준의 증강을 적용한다.
• 수렴성과 안정성을 향상시키기 위해 고학습률과 강한 정규화를 사용하여 식별된 희박한 하위신경망을 훈련한다.
• 두 단계 모두 동일한 훈련 세트를 재사용하여 데이터 효율성을 확보하고 데이터 泄유를 방지한다.
• 다양한 GAN 아키텍처에 이 프레임워크를 적용하여 다양한 데이터셋에서 일관된 성능 향상을 유지한다.

실험 결과

연구 질문

• RQ1 GAN 내부에서 발견된 로또 티켓이 데이터 효율성 향상에 인덕티브 프리오르로 기능할 수 있는가?
• RQ2 소규모 실사진 데이터셋에서 희박한 하위신경망을 식별하고 훈련하면 수렴성 향상과 모드 붕괴 감소에 기여하는가?
• RQ3 이 프레임워크를 사용하여 단지 100장의 실사진으로부터 시작해 고해상도 이미지를 얼마나 잘 생성할 수 있는가?
• RQ4 여러 데이터셋과 아키텍처에서 표준 GAN 훈련과 비교해 이 방법이 FID 및 인ception 스코어 측면에서 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 사전 훈련이나 아키텍처 수정 없이 다양한 GAN 아키텍처와 이미지 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 사전 훈련 없이 단지 100장의 실사진으로부터 고해상도 이미지를 생성하며, 소수의 샘플 생성 성능에서 최신 기준을 달성한다.
• 이 방법은 훈련 안정성과 수렴성을 크게 향상시켜 제한된 데이터 조건에서도 모드 붕괴를 감소시킨다.
• CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet에서 조차도 단지 100장의 실사진으로 훈련할 때도 경쟁적인 프리셰트 인ception 거리(Fréchet Inception Distance, FID) 스코어를 달성한다.
• SNGAN, BigGAN, StyleGAN2에서 식별된 로또 티켓 하위신경망은 독립적으로 훈련 가능하며 아키텍처 간 일관된 성능 향상을 보인다.
• 두 번째 훈련 단계에서 강력한 데이터 및 특징 증강을 적용하면 표준 훈련 대비 생성 샘플의 품질이 크게 향상된다.
• 이 프레임워크는 다양한 데이터셋과 GAN 아키텍처에 걸쳐 강력한 일반화 성능을 유지하며, 강인성과 확장성의 잠재력을 보여준다.