[논문 리뷰] GANs Can Play Lottery Tickets Too

Xuxi Chen, Zhenyu Zhang외 2명|arXiv (Cornell University)|2021. 05. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 5

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)가 스파arsity를 띠는 하위네트워크(승리 티켓)를 보여주며, 이는 고립된 상태에서 전체 모델 성능에 도달할 수 있음을 입증한다. 반복적 크기 및 채널 프루닝을 통해 저자들은 GAN에서 최신 기술 수준의 압축을 달성하였으며, 특히 67–74%의 스파arsity에서 뛰어난 성능을 보였다. 또한, 디세리미네이터 초기화가 티켓 품질과 다양한 작업 간 이식 가능성에 결정적인 영향을 미친다는 점을 보여주었다.

ABSTRACT

Deep generative adversarial networks (GANs) have gained growing popularity in numerous scenarios, while usually suffer from high parameter complexities for resource-constrained real-world applications. However, the compression of GANs has less been explored. A few works show that heuristically applying compression techniques normally leads to unsatisfactory results, due to the notorious training instability of GANs. In parallel, the lottery ticket hypothesis shows prevailing success on discriminative models, in locating sparse matching subnetworks capable of training in isolation to full model performance. In this work, we for the first time study the existence of such trainable matching subnetworks in deep GANs. For a range of GANs, we certainly find matching subnetworks at 67%-74% sparsity. We observe that with or without pruning discriminator has a minor effect on the existence and quality of matching subnetworks, while the initialization weights used in the discriminator play a significant role. We then show the powerful transferability of these subnetworks to unseen tasks. Furthermore, extensive experimental results demonstrate that our found subnetworks substantially outperform previous state-of-the-art GAN compression approaches in both image generation (e.g. SNGAN) and image-to-image translation GANs (e.g. CycleGAN). Codes available at https://github.com/VITA-Group/GAN-LTH.

연구 동기 및 목표

• 생성적 적대적 네트워크(GANs)에 대해 복잡한 생성 모델에 대해 로또 티켓 가설(LTH)이 적용되는지 조사한다.
• 디세리미네이터를 프루닝하는 것이 GAN 내에서 훈련 가능한 하위네트워크를 찾는 데 미치는 영향과 디세리미네이터 가중치 초기화의 역할을 규명한다.
• 식별된 하위네트워크가 다양한 데이터셋과 생성 작업 간에 이식 가능한지 평가한다.
• 계산 비용을 줄이고 성능을 유지하거나 향상시키는 동시에 구조적(채널) 프루닝을 활용한 더 효율적인 압축 파이프라인을 개발한다.
• 효율성과 이미지 생성 품질 측면에서 기존 최고의 GAN 압축 방법을 뛰어넘는다.

제안 방법

• 다양한 GAN 아키텍처의 생성자 및 디세리미네이터 구성 요소에 반복적 크기 프루닝(IMP)을 적용하여 스파arsity 하위네트워크를 식별한다.
• 비정형 크기 프루닝을 사용하여 SNGAN 및 CycleGAN을 포함한 여러 GAN 모델에서 67–74%의 스파arsity 수준에서 승리 티켓을 찾는다.
• 구조적 하위네트워크를 생성하기 위해 채널 프루닝을 활용하여 파라미터 수를 감소시키고 추론 속도를 향상시켜 효율적인 구현을 가능하게 한다.
• 하위네트워크를 동일한 무작위 가중치로 초기화하고 다시 훈련하여 성능을 평가하는 재훈련 파이프라인을 구현한다.
• 밀도 있는 디세리미네이터를 지식 정착 소스로 활용하여 프루닝을 통해 발견된 승리 티켓의 품질을 향상시킨다.
• 이식 가능성 평가를 위해 하위네트워크를 미리 보지 않은 데이터셋(CIFAR-10, Tiny ImageNet 등)과 다양한 GAN 아키텍처에서 테스트한다.

실험 결과

연구 질문

• RQ1 로또 티켓 가설(LTH)이 예측한 바와 같이, 깊이 있는 GAN에서 훈련 가능한 성능 일치 하위네트워크(승리 티켓)가 존재하는가?
• RQ2 디세리미네이터를 프루닝하는 것은 GAN 내에서 승리 티켓의 존재성과 성능에 어떤 영향을 미치는가?
• RQ3 디세리미네이터 가중치의 초기화가 승리 티켓 성공에 어떤 역할을 하는가?
• RQ4 프루닝을 통해 발견된 승리 티켓은 새로운 데이터셋과 생성 작업으로 효과적으로 이식 가능한가?
• RQ5 구조적 프루닝(채널 프루닝)을 통해 기존 최고의 GAN 압축 방법보다 효율성과 성능 측면에서 뛰어난 하위네트워크를 도출할 수 있는가?

주요 결과

• 67%에서 74%의 스파arsity 수준에서 GAN 내에서 성능 일치 하위네트워크가 존재하며, SNGAN은 73.8% 스파arsity에서 FID 17.28을 기록했고, CycleGAN은 79.0% 스파arsity에서 38.95를 기록했다.
• 디세리미네이터를 프루닝하는 것은 승리 티켓의 존재성이나 품질에 미미한 영향을 미치지만, 디세리미네이터 가중치의 초기화가 성공적인 훈련에 결정적인 역할을 한다.
• 반복적 크기 프루닝을 통해 식별된 하위네트워크는 무작위 프루닝 및 무작위 초기화에 비해 극단적인 스파arsity 수준에서 더 뛰어난 성능을 보인다.
• 밀도 있는 디세리미네이터를 지식 정착 소스로 사용하면 승리 티켓의 최종 하위네트워크 품질이 크게 향상된다.
• 채널 프루닝을 통해 발견된 승리 티켓은 최신 기술 수준의 성능을 달성했으며, 약 67% 스파arsity에서 GAN 슬리밍(GS-32)보다 인ception 스코어 0.25 높고, 약 29% 스파arsity에서 0.20 높다.
• 승리 티켓의 이식 가능성은 높다: 예를 들어 CIFAR-10에서 훈련된 하위네트워크는 Tiny ImageNet 등 다른 데이터셋으로도 잘 일반화되며, DCGAN, WGAN-GP, ACGAN, AutoGAN 등 다양한 GAN 모델에서 일관된 성능 향상을 보였다.