[논문 리뷰] Feature Quantization Improves GAN Training

Yang Zhao, Chunyuan Li외 3명|arXiv (Cornell University)|2020. 04. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 14

한 줄 요약

이 논문은 GAN에 대해 기능 양자화(FQ)를 제안한다. 여기서 판별자는 최근 특징 프로토타입의 동적이고 이동 평균 기반 사전을 사용하여 실재 및 가짜 특징을 이산 토큰으로 양자화한다. 공유된 이산 공간에서 강력하고 압축된 특징 매칭을 가능하게 함으로써 FQ는 훈련을 안정화시키고 생성 품질을 향상시킨다. 다양한 GAN 아키텍처와 벤치마크에서 최신 기술 성능을 달성하며, StyleGAN2(FFHQ에서 3.19 FID)와 이미지 번역 작업에서의 U-GAT-IT에서도 성능을 높였다.

ABSTRACT

The instability in GAN training has been a long-standing problem despite remarkable research efforts. We identify that instability issues stem from difficulties of performing feature matching with mini-batch statistics, due to a fragile balance between the fixed target distribution and the progressively generated distribution. In this work, we propose Feature Quantization (FQ) for the discriminator, to embed both true and fake data samples into a shared discrete space. The quantized values of FQ are constructed as an evolving dictionary, which is consistent with feature statistics of the recent distribution history. Hence, FQ implicitly enables robust feature matching in a compact space. Our method can be easily plugged into existing GAN models, with little computational overhead in training. We apply FQ to 3 representative GAN models on 9 benchmarks: BigGAN for image generation, StyleGAN for face synthesis, and U-GAT-IT for unsupervised image-to-image translation. Extensive experimental results show that the proposed FQ-GAN can improve the FID scores of baseline methods by a large margin on a variety of tasks, achieving new state-of-the-art performance.

연구 동기 및 목표

• 비정적 미니배치 통계로 인한 GAN 훈련의 불안정성을 해결한다.
• 현재의 미니배치 통계에 의존하는 특징 매칭의 한계를 극복하여 일반화 능력 저하와 훈련 발산을 방지한다.
• 계산 부담을 증가시키지 않으면서도 고차원적이고 대규모 데이터셋에서 안정적이고 강력한 특징 매칭을 가능하게 하는 방법을 개발한다.
• 이미지 생성, 얼굴 합성, 이미지 번역을 포함한 다양한 GAN 아키텍처와 작업에서 훈련 수렴성과 샘플 품질 향상을 달성한다.

제안 방법

• 최근 훈련 이력에서 유도된 실재 및 가짜 샘플을 포함한 특징 프로토타입의 동적 이동 평균 사전을 구성한다.
• 판별기의 연속적 특징 맵을 진동하는 사전의 이산 토큰으로 양자화하여 공유된 이산 표현으로 특징를 매핑한다.
• 양자화된 특징을 기반으로 적대적 손실을 사용하여 암묵적인 특징 매칭을 압축되고 안정된 공간에서 수행한다.
• 기존 GAN 판별기에 최소한의 아키텍처 변경과 거의 무시할 수 없는 계산 비용으로 FQ 모듈을 통합한다.
• 지수 이동 평균을 통한 업데이트로 사전의 일관성을 유지하여 현재 데이터 분포와 일치시킨다.
• BigGAN, StyleGAN, StyleGAN2, U-GAT-IT를 포함한 여러 GAN 변종에 FQ 모듈을 적용하며, 하이퍼파rameter 조정이 필요 없다.

실험 결과

연구 질문

• RQ1 비정적 미니배치 통계로 인한 불안정성을 줄이기 위해 공유된 이산 공간으로의 기능 양자화가 GAN 훈련을 안정화시킬 수 있는가?
• RQ2 특징 프로토타입의 동적 이동 평균 사전을 사용하면 고차원적이고 대규모 데이터셋에서 특징 매칭의 강건성이 향상되는가?
• RQ3 FQ는 아키텍처 변경 없이 기존 GAN 모델에 일반적으로 적용되어 훈련 안정성과 생성 품질을 향상시킬 수 있는가?
• RQ4 이미지 생성, 얼굴 합성, 이미지 번역을 포함한 다양한 GAN 작업에서 FQ는 샘플 품질 향상과 수렴 속도 향상에 얼마나 기여하는가?
• RQ5 FQ는 ImageNet, FFHQ, 이미지 번역 데이터셋과 같은 표준 벤치마크에서 최신 기술 성능을 달성하는가?

주요 결과

• FQ-GAN은 9개의 벤치마크에서 FID 점수를 크게 향상시켜, 단 한 개를 제외한 모든 데이터셋에서 새로운 최신 기술 성능을 달성했다.
• FFHQ 데이터셋에서 FQ-StyleGAN2는 FID 3.19를 기록하여 표준 StyleGAN2의 보고된 3.31보다 뛰어났다.
• FQ는 모든 다섯 개인 이미지 번역 데이터셋에서 U-GAT-IT의 성능을 향상시켰으며, 최고의 KID 점수를 기록했고, 인지 평가 연구에서 더 높은 인간 선호도를 보였다(예: selfie2anime에서 78% 선호도).
• ImageNet에서 FQ를 적용한 BigGAN 버전은 새로운 최신 기술 FID 점수를 기록했으며, 다양한 아키텍처와 작업에서 일관된 성능 향상을 보였다.
• 정성적 결과에서는 FQ가 일관되고 의미적으로 유의미한 사전 항목들(예: 하늘, 잔디, 새의 목)이 이미지 간에 반복적으로 재사용되면서 더 선명한 이미지 영역을 생성함을 보였다.
• 이 방법은 더 빠른 수렴과 더 안정적인 훈련을 가능하게 하며, 판별기의 특징 매칭이 미니배치 변동성에 덜 민감해짐을 보였다.