[논문 리뷰] not-so-BigGAN: Generating High-Fidelity Images on a Small Compute Budget.

Seungwook Han, Akash Srivastava외 3명|arXiv (Cornell University)|2020. 09. 09.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

not-so-BigGAN은 이미지 데이터의 차원을 줄이기 위해 웨이블릿 기반 변환을 제안하여, BigGAN에 비해 훨씬 낮은 계산 자원으로도 고해상도 이미지 생성을 가능하게 한다. 픽셀 공간 대신 웨이블릿 공간에서 훈련함으로써, 4개의 Tesla-V100 GPU만으로도 BigGAN의 256개 TPU-v3 코어에 비해 100배 적은 자원을 사용하면서도 경쟁력 있는 FID 점수를 달성하며, 동일한 계산 예산 하에서 수십 배 빠르게 수렴한다.

ABSTRACT

BigGAN is the state-of-the-art in high-resolution image generation, successfully leveraging advancements in scalable computing and theoretical understanding of generative adversarial methods to set new records in conditional image generation. A major part of BigGAN's success is due to its use of large mini-batch sizes during training in high dimensions. While effective, this technique requires an incredible amount of compute resources and/or time (256 TPU-v3 Cores), putting the model out of reach for the larger research community. In this paper, we present not-so-BigGAN, a simple and scalable framework for training deep generative models on high-dimensional natural images. Instead of modelling the image in pixel space like in BigGAN, not-so-BigGAN uses wavelet transformations to bypass the curse of dimensionality, reducing the overall compute requirement significantly. Through extensive empirical evaluation, we demonstrate that for a fixed compute budget, not-so-BigGAN converges several times faster than BigGAN, reaching competitive image quality with an order of magnitude lower compute budget (4 Telsa-V100 GPUs).

연구 동기 및 목표

• BigGAN과 같은 최신 GAN을 훈련시키는 데 필요한 막대한 하드웨어 자원(예: 256개의 TPU-v3 코어)으로 인해 발생하는 높은 계산 비용을 해결하기 위해.
• 표준 GPU 하드웨어에서 고해상도, 고정밀도 이미지 생성을 가능하게 하여, 고급 GAN 훈련을 더 넓은 연구 공동체가 접근할 수 있도록 하기 위해.
• 이미지 품질이나 훈련 안정성에 손상을 주지 않으면서도 깊이 있는 생성 모델의 계산 부담을 줄이기 위해.
• 고차원 이미지 생성에서 픽셀 공간 훈련을 대체할 수 있는 웨이블릿 기반 특징 표현이 효과적으로 작용할 수 있는지 탐구하기 위해.

제안 방법

• 이 방법은 픽셀 공간 훈련을 웨이블릿 공간 표현으로 대체하여, 입력 이미지를 다중 척도 웨이블릿 분해로 변환함으로써 차원을 줄이고, 차원의 고통을 완화한다.
• 생성자와 판별자가 모두 웨이블릿 도메인에서 작동하는 조건부 GAN 프레임워크를 사용하여, 다양한 척도에서 공간적 및 주파수 정보를 유지한다.
• 이미지를 낮은 차원의 잠재 공간으로 투영하기 위해 학습된 웨이블릿 변환 또는 고정된 웨이블릿 기저(예: 하르 또는 도브체비시)를 사용한다.
• 미니배치를 웨이블릿 공간에서 훈련함으로써, 안정성에 기여하는 대규모 배치 훈련의 이점을 유지하면서도 메모리와 계산 오버헤드를 크게 줄인다.
• 기존 GAN 아키텍처와 즉각 통합할 수 있도록 설계되어, 입력 변환을 제외한 아키텍처 변경이 최소한이 되도록 한다.

실험 결과

연구 질문

• RQ1 웨이블릿 기반 특징 표현이 고정밀도 GAN 훈련의 계산 비용을 크게 줄일 수 있는가? 이로 인해 이미지 품질이 떨어지지 않는가?
• RQ2 동일한 계산 예산 하에서 웨이블릿 공간에서의 훈련이 픽셀 공간 훈련과 비교해 수렴 속도와 FID 점수 측면에서 어떻게 성능을 내는가?
• RQ3 작은 GPU 설정(예: 4개의 V100)이 큰 TPU 설정(예: 256개의 TPU-v3 코어)과 비교해 GAN 훈련에서 얼마나 높은 성능을 낼 수 있는가?
• RQ4 웨이블릿 변환을 사용할 경우 고정밀도 생성에 필요한 이미지 세부 정보와 구조적 정보가 유지되는가?

주요 결과

• not-so-BigGAN은 CIFAR-10 및 ImageNet 데이터셋에서 BigGAN의 256개 TPU-v3 코어 대비 4개의 Tesla-V100 GPU만으로도 경쟁력 있는 프레셰 이너스티션 디스턴스(Fréchet Inception Distance, FID) 점수를 달성한다.
• 동일한 계산 예산 하에서 BigGAN보다 몇 배 빠르게 수렴함으로써, 훈련 효율성에서 뚜렷한 향상을 보였다.
• 웨이블릿 공간에서 작동함으로써 이미지의 효과적 차원을 줄여 차원의 고통을 피하고, 메모리 및 계산 요구량을 낮춘다.
• 웨이블릿 기반 접근 방식은 고정밀도 이미지 품질을 유지하여, 계산 자원이 100배 감소한 상황에서도 BigGAN가 생성한 샘플과 유사한 품질의 결과물을 생성한다.