[논문 리뷰] Small-GAN: Speeding Up GAN Training Using Core-sets

Samarth Sinha, Han Zhang외 4명|arXiv (Cornell University)|2019. 10. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 69인용 수 33

한 줄 요약

대규모 배치를 에뮬레이션하기 위해 Core-set 기반 샘플링을 제안하며, 여러 GAN 변형 및 데이터셋에서 더 빠른 학습 속도와 비슷하거나 향상된 성능을 제공합니다.

ABSTRACT

Recent work by Brock et al. (2018) suggests that Generative Adversarial Networks (GANs) benefit disproportionately from large mini-batch sizes. Unfortunately, using large batches is slow and expensive on conventional hardware. Thus, it would be nice if we could generate batches that were effectively large though actually small. In this work, we propose a method to do this, inspired by the use of Coreset-selection in active learning. When training a GAN, we draw a large batch of samples from the prior and then compress that batch using Coreset-selection. To create effectively large batches of 'real' images, we create a cached dataset of Inception activations of each training image, randomly project them down to a smaller dimension, and then use Coreset-selection on those projected activations at training time. We conduct experiments showing that this technique substantially reduces training time and memory usage for modern GAN variants, that it reduces the fraction of dropped modes in a synthetic dataset, and that it allows GANs to reach a new state of the art in anomaly detection.

연구 동기 및 목표

• GAN 학습에서 대형 미니배치의 사용을 동기 부여하고 그것이 수반하는 계산 병목 현상을 다룬다.
• 대형 배치와 같은 모드를 포괄하는 더 작은 배치를 만들기 위해 Core-set 샘플링을 도입한다.
• Prior 샘플과 고수준 임베딩 모두에서 작동하여 GAN에 Core-set 샘플링을 실용화한다.
• 여러 GAN 변형과 데이터셋(CIFAR, LSUN, ImageNet) 및 이상 탐지에서 메서드의 유효성을 보여준다.
• Core-set 증강이 학습 시간과 메모리 사용량을 줄이면서 성능 지표를 개선하거나 일치시키는 것을 보여준다.

제안 방법

• prior에서 큰 배치 n을 샘플링하고 Core-set 선정을 수행하여 더 작은 배치 k를 얻는다.
• 타깃 데이터의 Inception 임베딩을 계산하고 Core-set 선정을 수행하기 전에 차원을 낮추기 위한 임의 투영을 적용한다.
• 대표적인 점들을 선택하기 위한 효율적인 근사 Core-set 샘플러로 greedy k-center 알고리즘을 사용한다.
• Prior와 Target(Embedding) 분포 모두에 Core-set 샘플링을 적용하여 실질적으로 큰 배치를 만든다.
• GAN을 표준 목표로 학습하지만 random mini-batch 대신 Core-set에서 파생된 배치를 사용한다.
• 런타임 Core-set 결정을 빠르게 하기 위해 Embedding 데이터 세트를 캐시로 유지한다.

실험 결과

연구 질문

• RQ1 Core-set 샘플링이 계산을 줄이면서 GAN 학습에서 대형 배치의 커버리지를 재현할 수 있는가?
• RQ2 Small-GAN이 실제 배치 크기가 더 작아져도 GAN의 성능(FID, 모드 커버리지, 이상 탐지 지표)을 개선하거나 유지하는가?
• RQ3 이 방법이 GAN 변형(SN-GAN, SAGAN) 및 데이터셋(CIFAR, LSUN, ImageNet) 전반에 걸쳐 견고한가?

주요 결과

• Core-set 샘플링은 CIFAR 및 LSUN에서 여러 GAN 변형에 대해 고정된 배치 크기에서 FID 점수를 향상시킨다.
• 이 방법은 가우시안 혼합에서 모드 드롭을 줄여 모드 커버리지를 더 잘 보여준다.
• Core-set 증강 GAN은 MEG 기반 실험에서 이상 탐지 결과를 향상시킨다.
• 타이밍 분석에 따르면 Core-set 샘플링을 수행하는 데 약간의 오버헤드가 있다(약 0.024초/그래디언트 스텝).
• ImageNet에서 SAGAN으로 Core-set 샘플링은 FID를 19.40에서 17.33으로 향상시킨다.
• 데이터셋 전반에 걸쳐 더 큰 실제 배치가 유사한 향상을 제공하지만 Core-set 샘플링은 비례하는 리소스 증가 없이 이점을 제공한다.