[논문 리뷰] QGAN: Quantized Generative Adversarial Networks

Peiqi Wang, Dongsheng Wang외 6명|arXiv (Cornell University)|2019. 01. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 21

한 줄 요약

이 논문은 기대최대화(EM) 알고리즘을 기반으로 한 새로운 양자화 방법인 QGAN을 제안한다. 이는 기존의 양자화 기법이 약한 양자화된 가중치 값의 부족함을 야기하는 문제를 해결하기 위한 것으로, GAN의 1비트 및 2비트 양자화를 효과적으로 가능하게 하며, 높은 품질의 샘플 생성을 유지한다. 이는 기존 기법이 낮은 비트 폭에서 실패하거나 노이즈가 많은 출력을 생성하는 데 비해 뛰어난 성능을 발휘한다.

ABSTRACT

The intensive computation and memory requirements of generative adversarial neural networks (GANs) hinder its real-world deployment on edge devices such as smartphones. Despite the success in model reduction of CNNs, neural network quantization methods have not yet been studied on GANs, which are mainly faced with the issues of both the effectiveness of quantization algorithms and the instability of training GAN models. In this paper, we start with an extensive study on applying existing successful methods to quantize GANs. Our observation reveals that none of them generates samples with reasonable quality because of the underrepresentation of quantized values in model weights, and the generator and discriminator networks show different sensitivities upon quantization methods. Motivated by these observations, we develop a novel quantization method for GANs based on EM algorithms, named as QGAN. We also propose a multi-precision algorithm to help find the optimal number of bits of quantized GAN models in conjunction with corresponding result qualities. Experiments on CIFAR-10 and CelebA show that QGAN can quantize GANs to even 1-bit or 2-bit representations with results of quality comparable to original models.

연구 동기 및 목표

• 기존의 신경망 양자화 기법을 GAN에 적용할 수 있는 가능성과 도전 과제를 탐구하는 것. GAN은 양자화 시에 안정성이 떨어지는 것으로 알려져 있다.
• 기존의 양자화 기법이 GAN에 적용되었을 때의 핵심 실패 원인을 규명하는 것. 특히 생성기와 판별기 간의 가중치 양자화에 대한 민감도의 차이와, 양자화된 값의 부족함을 중심으로 한다.
• 기대최대화(EM) 알고리즘을 활용하여 저비트 양자화 모델에서 원래의 가중치 분포를 더 잘 표현할 수 있도록 하는 새로운 양자화 방법 QGAN을 개발하는 것.
• 생성기와 판별기의 양자화 민감도에 따라 비트 폭 할당을 최적화하는 다중 정밀도 양자화 전략을 설계하는 것.
• 1비트 및 2비트 양자화된 GAN이 전체 정밀도 모델과 비교해 품질이 뛰어난 샘플을 생성할 수 있음을 경험적으로 검증하는 것.

제안 방법

• 기대최대화(EM) 알고리즘을 사용해 정밀도가 높은 가중치를 양자화된 수준으로 클러스터링하는 QGAN이라는 양자화 방법을 제안한다. 이는 분포 일치를 향상시키고, 양자화된 값의 부족함을 줄이는 데 기여한다.
• EM 기반의 클러스터링 과정에서 선형 스케일링 함수를 적용하여, 양자화된 상태의 활용도를 향상시키고 GAN의 학습 동역학을 안정화시킨다.
• 생성기와 판별기를 별도로 다른 비트 폭으로 양자화하는 다중 정밀도 양자화 알고리즘을 도입한다. 이는 그들의 양자화 민감도에 대한 경험적 관찰에 기반한다.
• 두 단계 학습 전략을 적용한다. 먼저 판별기를 양자화하고, 이후 두 네트워크를 함께 미세조정하여 수렴 안정성을 높인다.
• 다양한 비트 폭과 양자화 기법에서 생성된 샘플의 품질을 평가하기 위해 Inception Score(IS)와 시각적 검토를 사용한다.
• CIFAR-10 및 CelebA 데이터셋에서 다양한 GAN 아키텍처(DCGAN, WGAN-GP, LSGAN)를 사용해 다양한 양자화 설정 하에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 CNN 및 RNN에서 성공한 표준 양자화 기법이 GAN에 직접 적용되었을 때 실패하는 이유는 무엇인가?
• RQ2 모델 수렴과 샘플 품질 측면에서 생성기와 판별기는 양자화에 대해 어떻게 다를까?
• RQ3 EM 기반의 클러스터링 접근법이 GAN에서 양자화된 가중치 값의 부족함을 효과적으로 완화할 수 있는가?
• RQ4 모델 압축과 샘플 품질을 균형 잡는 데 최적의 생성기 및 판별기 비트 폭 설정은 무엇인가?
• RQ5 1비트 또는 2비트 양자화된 GAN이 전체 정밀도 모델과 비교해 품질이 뛰어난 샘플을 생성할 수 있는가?

주요 결과

• 표준 양자화 기법은 양자화된 가중치 값의 부족함으로 인해 GAN에서 실패하며, 이는 낮은 품질의 샘플 생성 또는 완전한 생성 실패로 이어진다.
• 판별기는 생성기보다 양자화에 훨씬 더 민감하며, 생성기와 판별기를 동시에 양자화하는 것이 생성기만 양자화하는 것보다 더 안정적인 학습을 가능하게 한다.
• QGAN은 저비트 GAN 양자화 분야에서 최고 성능을 기록하며, 1비트 및 2비트 정밀도에서도 높은 품질의 샘플을 생성한다. CIFAR-10에서 DCGAN의 경우 1비트 판별기 및 2비트 생성기로 4.33의 Inception Score를 기록했고, CelebA에서는 2.68의 IS를 달성했다.
• 다중 정밀도 양자화 전략은 최적의 비트 폭 설정을 효과적으로 규명했으며, WGAN-GP는 4비트 판별기 및 4비트 생성기로 3.17의 IS를 기록했고, LSGAN은 3비트 판별기 및 3비트 생성기로 3.55의 IS를 달성했다.
• 시각적 검토 결과, QGAN이 생성한 샘플은 인지적으로 수용 가능하며 전체 정밀도 기준선과 유사한 품질을 보였다. 특히 2비트 이상에서는 뚜렷한 성능 우월성이 나타났고, 다른 기법은 1비트에서 노이즈나 잡음 무늬를 생성했다.
• QGAN의 EM 기반 클러스터링은 원래의 가중치 분포를 효과적으로 맞추며, 기준 양자화 기법 대비 더 균일하고 대표적인 양자화 상태 분포를 보였다.