[논문 리뷰] Self-Supervised GAN Compression

Chong Yu, Jeff Pool|arXiv (Cornell University)|2020. 07. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 4

한 줄 요약

이 논문은 기존의 학습 데이터가 없이도 생성자에 대한 프루닝을 감독할 수 있도록 사전 훈련된 판별자를 활용하는 자기지도 학습 압축 방법을 제안한다. 이는 복잡한 GAN에서 표준 프루닝 기법이 성능을 유지하지 못하는 문제를 해결한다. 이 방법은 최대 90%의 높은 희박성(스파arsity)을 달성하면서도 품질 저하를 최소화하며, 특히 세분화된(요소 수준) 프루닝을 통해 뛰어난 성능을 보이며, 원래 훈련 시간의 1~10%만으로도 가능하다.

ABSTRACT

Deep learning's success has led to larger and larger models to handle more and more complex tasks; trained models can contain millions of parameters. These large models are compute- and memory-intensive, which makes it a challenge to deploy them with minimized latency, throughput, and storage requirements. Some model compression methods have been successfully applied to image classification and detection or language models, but there has been very little work compressing generative adversarial networks (GANs) performing complex tasks. In this paper, we show that a standard model compression technique, weight pruning, cannot be applied to GANs using existing methods. We then develop a self-supervised compression technique which uses the trained discriminator to supervise the training of a compressed generator. We show that this framework has a compelling performance to high degrees of sparsity, can be easily applied to new tasks and models, and enables meaningful comparisons between different pruning granularities.

연구 동기 및 목표

• 복잡한 GAN에 대한 효과적인 모델 압축 기법이 부족한 문제를 해결하기 위해, 특히 생성자 프루닝에 초점을 맞춘다.
• 표준 프루닝 기법이 복잡한 작업에서 GAN 생성 품질을 유지하지 못하는 이유를 규명한다.
• 생성자 압축 중 고해상도 출력을 유지할 수 있는 자기지도 학습 압축 프레임워크를 개발한다.
• 다양한 프루닝 정밀도(요소 수준 대 필터 수준)와 희박성 수준이 GAN 성능에 미치는 영향을 평가한다.
• 최소한의 하이퍼파라미터 조정과 재훈련으로도 효율적이고 종단 간 압축을 가능하게 한다.

제안 방법

• 생성자 압축 과정에서 원래 학습 데이터가 필요 없이 사전 훈련된 판별자를 활용해 자기지도 학습을 제공한다.
• 원본 생성자 출력과 압축된 생성자 출력을 판별자의 진짜/가짜 예측과 결합한 새로운 손실 함수를 도입한다.
• 구조적 희박성 기반으로 프루닝을 적용하며, 요소 수준(0D), 벡터 수준(1D), 커널 수준(2D), 필터 수준(3D)의 압축 방식을 선택할 수 있다.
• 압축된 생성자는 판별자의 피드백을 통해 미세조정되며, 이로 인해 높은 희박성에도 불구하고 성능 저하가 최소화된다.
• 프레임워크는 종단 간(end-to-end)이며, 하이퍼파라미터가 하나뿐이거나(실험에서 0.5로 설정) 필요로 하는 경우가 있다.
• 이 방법은 다양한 GAN 아키텍처와 작업(예: 이미지 간 번역, 스타일 전이)에 적용 가능하다.

실험 결과

연구 질문

• RQ1 왜 표준 프루닝 기법이 복잡한 작업에서 GAN 생성자의 품질을 유지하지 못하는가?
• RQ2 원래 학습 데이터에 접근할 수 없더라도 사전 훈련된 판별자가 GAN 생성자의 압축을 효과적으로 감독할 수 있는가?
• RQ3 다양한 프루닝 정밀도(요소 수준 대 필터 수준)는 압축된 GAN 생성자의 품질과 안정성에 어떤 영향을 미치는가?
• RQ4 압축된 GAN에서 희박성과 생성 품질 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 자기지도 학습 압축은 최소한의 재훈련 시간과 외부 평가 지표가 없이도 고압축률을 달성할 수 있는가?

주요 결과

• 세분화된(요소 수준) 프루닝은 90%의 희박성까지 안정적인 성능을 유지했으며, 이미지 품질 저하가 미미했고, FID 점수는 32.006에서 41.251로 약간 상승했다.
• 필터 수준 프루닝은 25%의 희박성에서도 심각한 아티팩트와 색상 이동을 유발했으며, FID 점수가 82.349로 상승하여 GAN에 적합하지 않음을 시사했다.
• 자기지도 학습 압축 과정은 원래 훈련 시간의 1~10%만으로도 수행되어 매우 효율적이었다.
• 다양한 작업(예: CycleGAN, StarGAN) 전반에서 높은 인지적 품질을 유지했으며, PSNR와 SSIM 값이 원본 생성자와 유사했다.
• 특히 고희박성 수준에서 이전 연구 대비 정량적·정성적 지표에서 뛰어난 성능을 보였다.
• 손실 곡선이 최종 생성 품질을 정확히 반영하여, 외부 지표 없이도 신뢰할 수 있는 모니터링이 가능했다.