[논문 리뷰] Data-Efficient GAN Training Beyond (Just) Augmentations: A Lottery Ticket Perspective

Tianlong Chen, Yu Cheng외 3명|arXiv (Cornell University)|2021. 02. 28.

Generative Adversarial Networks and Image Synthesis인용 수 16

한 줄 요약

이 논문은 소량의 실사 이미지 데이터셋을 사용하여 사전 훈련된 GAN에서 러트리티 티켓(매우 희소하고 훈련 가능한 하위신경망)을 식별함으로써 데이터 효율적인 GAN 훈련 프레임워크를 제안한다. 데이터 수준의 증강과 새로운 특징 수준의 증강(AdvAug)을 활용하여 이러한 희소 하위신경망만을 훈련시킴으로써, CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet에서 훈련 데이터의 10–25%만으로도 기존의 밀집 GAN과 기존 베이스라인을 뛰어넘는 최신 기술 수준(FID)의 성능을 달성한다.

ABSTRACT

Training generative adversarial networks (GANs) with limited real image data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation, that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we suggest a brand-new angle towards data-efficient GAN training: by first identifying the lottery ticket from the original GAN using the small training set of real images; and then focusing on training that sparse subnetwork by re-using the same set. We find our coordinated framework to offer orthogonal gains to existing real image data augmentation methods, and we additionally present a new feature-level augmentation that can be applied together with them. Comprehensive experiments endorse the effectiveness of our proposed framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN-V2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet, and multiple few-shot generation datasets). Codes are available at: https://github.com/VITA-Group/Ultra-Data-Efficient-GAN-Training.

연구 동기 및 목표

• 표준 훈련이 모드 붕괴와 성능 저하를 유발하는 소량의 실사 이미지 데이터로 고품질 GAN을 훈련시키는 데 도전하는 것.
• 러트리티 티켓(희소하고 훈련 가능한 하위신경망)이 낮은 데이터 환경에서 식별되고 효과적으로 훈련될 수 있는지 탐색하는 것.
• 두 단계로 구성된 통합 프레임워크를 개발하는 것: (i) 소규모 데이터셋에서 러트리티 티켓 식별, (ii) 식별된 하위신경망의 데이터 효율적 훈련.
• 생성자와 판별자 양쪽에 중간 특징에 적대적 편향을 주입함으로써 정규화하는 새로운 특징 수준의 증강(AdvAug)을 도입하는 것.
• 러트리티 티켓과 데이터 증강이 상호 보완적으로 작용하여 GAN 훈련의 데이터 효율성을 향상시킬 수 있음을 보여주는 것.

제안 방법

• 소량의 실사 이미지 데이터셋을 사용하여 반복적 크기 기반 희소화(IMP) 알고리즘을 적용하여 GAN 내 러트리티 티켓을 식별함으로써 최대 86.58%의 희소성을 가진 매우 희소한 하위신경망을 도출한다.
• 식별된 희소 하위신경망(GAN 티켓)을 동일한 소규모 데이터셋으로 훈련시키며, 러트리티 티켓 가설을 활용하여 안정적이고 데이터 효율적인 훈련을 가능하게 한다.
• 생성자와 판별자의 중간 특징에 PGD 기반 적대적 편향을 적용하여 일반화 능력을 향상시키는 AdvAug라는 특징 수준의 증강을 도입한다.
• AdvAug를 선택적으로 적용함: 최적의 성능은 판별자의 마지막 레이어와 생성자의 첫 번째 레이어에 편향을 주었을 때 달성된다.
• 기존의 데이터 수준 증강(예: ADA, DiffAug)과 결합하여 훈련의 안정성을 더욱 향상시키고 성능을 향상시킨다.
• 최적의 AdvAug 하이퍼파라미터를 도출하기 위해 분석 실험을 수행하였으며, 이는 스텝 크기(0.01), PGD 스텝 수(1), 레이어 위치 등을 포함한다.

실험 결과

연구 질문

• RQ1 소량의 데이터 환경에서 GAN 훈련에서 러트리티 티켓을 성공적으로 식별하고 훈련시킬 수 있는가?
• RQ2 식별된 희소 하위신경망으로 훈련하는 것이 밀집 GAN에 비해 데이터 효율성을 향상시키는가?
• RQ3 특징 수준의 증강(AdvAug)이 데이터 효율적인 GAN 티켓의 성능을 추가로 향상시킬 수 있는가?
• RQ4 AdvAug의 다양한 설정(강도, 레이어 위치)이 훈련 안정성과 FID 점수에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 소량의 실사 데이터로 다양한 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• CIFAR-10에서 훈련 데이터의 10%만으로도, SNGAN 티켓과 BigGAN 티켓이 각각 67.24–86.58%의 희소성을 가지며 FID 점수 23.14와 70.91을 기록하여 밀집 대비 우수한 성능을 보였다.
• Tiny-ImageNet에서 10%의 데이터로 BigGAN 티켓이 36.00%의 희소성을 가지며 FID 23.14와 IS 52.98를 기록하여 밀집 GAN을 초월했다.
• ImageNet에서 25%의 데이터로 BigGAN 티켓이 67.24%의 희소성을 가지며 FID 70.91과 IS 7.03을 기록하여 대규모 벤치마크에서 강력한 성능을 보였다.
• 제안된 AdvAug 특징 수준의 증강은 기준 모델 대비 CIFAR-10(10% 데이터)에서 FID 점수를 3.0 포인트 감소시켰으며, 데이터 수준 증강과 결합할 경우 추가 성능 향상이 있었다.
• 더 희소한 GAN 티켓(예: 83.22% 희소성)은 AdvAug의 영향을 더 크게 받으며, 이는 낮은 데이터 환경에서 정규화에 더 민감함을 시사한다.
• 실제로 100개의 샘플만으로도 전이 학습 기반 모델과 유사한 고품질 이미지를 생성할 수 있었으며, 사전 훈련 없이도 성능을 달성했다.