[논문 리뷰] AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks

Yonggan Fu, Wuyang Chen외 4명|arXiv (Cornell University)|2020. 06. 15.

Generative Adversarial Networks and Image Synthesis인용 수 48

한 줄 요약

AutoGAN-Distiller (AGD)은 GAN 아키텍처를 탐색하고 추려 CycleGAN 및 ESRGAN을 압축하여 상당히 더 작은 모델을 만들고, 경쟁력 있거나 향상된 품질을 달성합니다.

ABSTRACT

The compression of Generative Adversarial Networks (GANs) has lately drawn attention, due to the increasing demand for deploying GANs into mobile devices for numerous applications such as image translation, enhancement and editing. However, compared to the substantial efforts to compressing other deep models, the research on compressing GANs (usually the generators) remains at its infancy stage. Existing GAN compression algorithms are limited to handling specific GAN architectures and losses. Inspired by the recent success of AutoML in deep compression, we introduce AutoML to GAN compression and develop an AutoGAN-Distiller (AGD) framework. Starting with a specifically designed efficient search space, AGD performs an end-to-end discovery for new efficient generators, given the target computational resource constraints. The search is guided by the original GAN model via knowledge distillation, therefore fulfilling the compression. AGD is fully automatic, standalone (i.e., needing no trained discriminators), and generically applicable to various GAN models. We evaluate AGD in two representative GAN tasks: image translation and super resolution. Without bells and whistles, AGD yields remarkably lightweight yet more competitive compressed models, that largely outperform existing alternatives. Our codes and pretrained models are available at https://github.com/TAMU-VITA/AGD.

연구 동기 및 목표

• 번역 품질을 손상시키지 않으면서 생성적 적대 신경망(GAN)을 압축해야 할 필요성을 제시한다.
• 다양한 매칭되지 않은 이미지 간 변환 작업을 위한 효율적인 제너레이터 블록을 발견하기 위한 아키텍처 탐색 프레임워크를 제안한다.
• CycleGAN 변형 및 ESRGAN에서 AGD의 효과를 시연하며 양자화된 구성도 포함한다.
• 최첨단 기준선과의 시각화 및 정량적 비교를 제공한다.

제안 방법

• 각 작업별로 통합 검색 공간 내에서 제너레이터 아키텍처를 독립적으로 탐색한다.
• 다양한 연산자와 폭을 활용하여 작업별 블록 및 스템을 구성한다.
• 매칭되지 않은 이미지 간 변환 작업(horse2zebra, zebra2horse, summer2winter, winter2summer) 및 ESRGAN 기반 초해상도에서 평가한다.
• 탐색된 아키텍처에 8비트 양자화를 적용하여 메모리 및 성능의 균형을 평가한다.
• CEC 및 PSNR 중심 SR 모델(VDSR, ESRGAN)과의 정량적 벤치마크를 수행한다.
• 결과의 시각화를 통해 에지 선명도 및 디테일의 정성적 개선을 보여준다.

실험 결과

연구 질문

• RQ1 AGD가 CycleGAN 아키텍처를 매칭되지 않은 이미지 간 변환 작업에서 시각적 품질을 유지하면서 얼마나 효과적으로 압축할 수 있는가?
• RQ2 AGD에서 도출된 PSNR 중심 ESRGAN 아키텍처가 상당히 감소된 FLOPs와 메모리로도 경쟁력 있는 PSNR을 달성할 수 있는가?
• RQ3 AGD로 발견된 아키텍처에 8비트 양자화를 적용할 때의 이점과 트레이드오프는 무엇인가?

주요 결과

모델	GFLOPs (256x256)	메모리(MB)	PSNR	Set5	Set14	BSD100	Urban100
ESRGAN	1176.61	66.8	32.73	28.99	27.85	27.03	-
VDSR	699.36	2.67	31.35	28.01	27.29	25.18	-
AGD	110.9	1.8	31.79	28.36	27.41	25.55	-

• AGD는 작업 전반에 걸쳐 다양한 연산자 집합을 발견하며, 더 큰 폭이 스템과 헤더의 초기에 나타난다.
• AGD 압축 CycleGAN 아키텍처는 기준선에 비해 더 높은 시각적 품질(선명한 에지와 더 많은 디테일)을 보인다.
• 양자화된 AGD 아키텍처는 시각화 품질을 유사하게 유지하면서 메모리 감소를 크게 달성한다(CEC 대비 8.1배~10.1배).
• PSNR 중심 ESRGAN에서 AGD는 데이터셋 전반에 걸쳐 최대 0.44 PSNR 향상을 달성하고 ESRGAN 기준보다 FLOPs가 약 84.1% 줄고 모델 크기가 약 32.6% 작다.
• SR 벤치마크에서 AGD는 110.9 GFLOPs와 1.8 MB 메모리를 달성하며 PSNR은 31.79(Set5), 28.36(Set14), 27.41(BSD100), 25.55(Urban100)이다.