[논문 리뷰] Learning Efficient GANs using Differentiable Masks and co-Attention Distillation.

Shaojie Li, Mingbao Lin외 6명|arXiv (Cornell University)|2020. 11. 17.

Digital Media Forensic Detection인용 수 6

한 줄 요약

이 논문은 아키텍처 탐색을 위한 미분 가능 마스크와 공액 주의 히스토그램 분산을 사용하는 새로운 GAN 압축 방법인 DMAD를 제안한다. 이는 경량 GAN에서 훈련을 안정화시키는 데 기여한다. CycleGAN의 MACs를 13배 줄이고 Pix2Pix의 경우 4배 줄여 전체 모델과 유사한 성능을 유지를 한다.

ABSTRACT

Generative Adversarial Networks (GANs) have been widely-used in image translation, but their high computational and storage costs impede the deployment on mobile devices. Prevalent methods for CNN compression cannot be directly applied to GANs due to the complicated generator architecture and the unstable adversarial training. To solve these, in this paper, we introduce a novel GAN compression method, termed DMAD, by proposing a Differentiable Mask and a co-Attention Distillation. The former searches for a light-weight generator architecture in a training-adaptive manner. To overcome channel inconsistency when pruning the residual connections, an adaptive cross-block group sparsity is further incorporated. The latter simultaneously distills informative attention maps from both the generator and discriminator of a pre-trained model to the searched generator, effectively stabilizing the adversarial training of our light-weight model. Experiments show that DMAD can reduce the Multiply Accumulate Operations (MACs) of CycleGAN by 13x and that of Pix2Pix by 4x while retaining a comparable performance against the full model. Code is available at this https URL.

연구 동기 및 목표

• 모바일 배포를 방해하는 GAN의 높은 계산 및 저장 비용을 해결하기 위해.
• 복잡한 생성자 아키텍처와 불안정한 적대적 훈련으로 인해 기존 CNN 압축 방법이 GAN에 적용될 수 없는 한계를 극복하기 위해.
• 적응형 크로스 블록 그룹 스parserity를 통해 훈련에 적응하는 채널 일관성 있는 아키텍처 탐색을 생성자에서 가능하게 하기 위해.
• 사전 훈련된 모델의 생성자와 판별자로부터 주의 맵을 전달하여 압축된 GAN의 적대적 훈련을 안정화시키기 위해.

제안 방법

• 훈련 중에 종합적이고 적응적인 방식으로 경량 생성자 아키텍처를 탐색하기 위해 미분 가능 마스크를 도입한다.
• 생성자의 잔류 연결을 프루닝할 때 채널 일관성을 유지하기 위해 적응형 크로스 블록 그룹 스parserity를 적용한다.
• 압축된 생성자로 정보가 풍부한 주의 맵을 사전 훈련된 생성자와 판별자로부터 전달하기 위해 공액 주의 히스토그램 분산을 제안한다.
• 전달된 주의 맵을 사용하여 경량 모델의 적대적 훈련 과정을 안정화시킨다.
• 아키텍처 탐색과 지식 전달을 조합하여 높은 압축률을 달성하면서 성능 저하를 최소화한다.

실험 결과

연구 질문

• RQ1 미분 가능 마스크가 GAN 생성자에서 효과적이고 훈련에 적응하는 아키텍처 탐색을 가능하게 할 수 있는가?
• RQ2 잔류 연결 프루닝 중 발생하는 채널 불일치 문제를 압축된 GAN에서 어떻게 완화할 수 있는가?
• RQ3 생성자와 판별자 양쪽에서 공액 주의 히스토그램 분산을 통해 경량 GAN의 훈련 안정성을 향상시킬 수 있는가?
• RQ4 CycleGAN과 Pix2Pix에서 MACs는 어느 정도 감소시킬 수 있으며, 성능은 어떻게 유지할 수 있는가?

주요 결과

• DMAD는 CycleGAN의 승산 누적 연산(MACs)을 13배 줄였지만 전체 모델과 유사한 성능을 유지한다.
• 이 방법은 Pix2Pix의 MACs를 4배 줄였고 원본 모델 대비 성능 저하가 최소한이다.
• 공액 주의 히스토그램 분산의 사용이 압축된 생성자의 적대적 훈련을 크게 안정화시킨다.
• 적응형 크로스 블록 그룹 스parserity는 잔류 연결 프루닝 중 채널 일관성을 효과적으로 유지한다.