[논문 리뷰] Teachers Do More Than Teach: Compressing Image-to-Image Models

Qing Jin, Jian Ren외 5명|arXiv (Cornell University)|2021. 03. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 79인용 수 7

한 줄 요약

이 논문은 이미지 간 GAN을 압축하기 위해 단일 교사 모델을 사용하여 아키텍처 탐색과 지식 정복을 동시에 수행하는 CAT(압축 및 교육) 방법을 제안한다. 인셉션 기반 잔차 블록과 일단에 대한 프루닝 전략을 도입함으로써, 이 방법은 상태 기반의 성능-효율성 트레이드오프를 달성하며, 압축된 모델이 원본 FID 및 mIoU 점수를 유지하거나 초월하면서도 MACs를 수개의 주기로 감소시킨다.

ABSTRACT

Generative Adversarial Networks (GANs) have achieved huge success in generating high-fidelity images, however, they suffer from low efficiency due to tremendous computational cost and bulky memory usage. Recent efforts on compression GANs show noticeable progress in obtaining smaller generators by sacrificing image quality or involving a time-consuming searching process. In this work, we aim to address these issues by introducing a teacher network that provides a search space in which efficient network architectures can be found, in addition to performing knowledge distillation. First, we revisit the search space of generative models, introducing an inception-based residual block into generators. Second, to achieve target computation cost, we propose a one-step pruning algorithm that searches a student architecture from the teacher model and substantially reduces searching cost. It requires no l1 sparsity regularization and its associated hyper-parameters, simplifying the training procedure. Finally, we propose to distill knowledge through maximizing feature similarity between teacher and student via an index named Global Kernel Alignment (GKA). Our compressed networks achieve similar or even better image fidelity (FID, mIoU) than the original models with much-reduced computational cost, e.g., MACs. Code will be released at https://github.com/snap-research/CAT.

연구 동기 및 목표

• 자원 제약이 있는 장치에서 이미지 간 GAN의 높은 계산 비용과 메모리 사용을 해결하기 위해.
• 이미지 품질이 떨어지거나 비용이 많이 드는 탐색 과정을 필요로 하는 기존 GAN 압축 방법의 한계를 극복하기 위해.
• 교사 네트워크를 활용해 아키텍처 탐색과 지식 정복을 동시에 수행함으로써 효율적이고 고정밀도의 모델 압축을 가능하게 하기 위해.
• 별도의 슈퍼넷이 필요 없고 하이퍼파라미터가 많은 정규화를 피하는 방식으로 아키텍처 탐색의 계산 비용을 줄이기 위해.
• 커널 정렬을 사용해 교사 및 학생 네트워크 간 특징 표현을 직접 정렬함으로써 정복 품질을 향상시키기 위해.

제안 방법

• 교사 생성자에 핵심 빌딩 블록으로서 인셉션 기반 잔차 블록(IncResBlock)을 도입하여 효율적인 학생 아키텍처를 위한 풍부한 탐색 공간을 제공한다.
• 목표 MACs 예산을 충족시키기 위해 훈련된 교사 네트워크에서 채널을 직접 제거하는 일단 프루닝 알고리즘을 제안하여 반복적 또는 희소성 기반 탐색이 필요 없도록 한다.
• 추가 학습 가능 레이어 없이 특징 유사도를 최대화하는 커널 정렬(Kernel Alignment, KA) 기반의 지식 정복 기법을 설계한다.
• 같은 교사 모델을 탐색 공간과 지식 정복 원천으로 사용하여 별도의 슈퍼넷이 필요 없고 훈련 복잡도를 낮춘다.
• 프루닝에 단일 하이퍼파rameter(프루닝 비율)만 사용하여 훈련 파이프라인을 단순화하고 튜닝 오버헤드를 줄인다.
• KA 기반 정복을 사용해 학생 네트워크를 엔드 투 엔드로 훈련시켜 학생이 교사로부터 고수준의 의미적 표현을 배울 수 있도록 한다.

Figure 1 : Performance comparison between our and existing GAN compression techniques [ 11 , 20 , 36 , 64 , 70 ] on CycleGAN [ 85 ] for Horse $\shortrightarrow$ Zebra dataset. Smaller MACs indicates more efficient models. Lower FID indicates models can generate more realistic images. Our method (red

실험 결과

연구 질문

• RQ1 단일 교사 모델이 이미지 간 GAN의 압축을 위해 탐색 공간과 지식 정복 원천으로 효과적으로 기능할 수 있는가?
• RQ2 일단 프루닝은 반복적 훈련이나 ℓ¹ 정규화가 필요 없이 효율적인 아키텍처 탐색을 가능하게 하는가?
• RQ3 커널 정렬을 통한 특징 공간 유사도가 추가 투영 레이어에 의존하는 전통적 정복 방법을 능가하는가?
• RQ4 제안된 방법이 기존 GAN 압축 기술보다 더 나은 성능-효율성 트레이드오프를 달성하는가?
• RQ5 압축된 모델이 계산 비용을 줄이면서도 원본 모델을 초월하는 이미지 정밀도를 달성할 수 있는가?

주요 결과

• 제안된 CAT 방법은 이전 연구 대비 아키텍처 탐색 비용을 최소 10,000배 이상 감소시켰으며, 단일 GPU에서 탐색 시간이 5초 이내였다.
• Horse→Zebra CycleGAN 벤치마크에서, 압축된 모델은 원본 모델(19.1)보다 낮은 FID(18.4)를 기록했고, MACs는 3.5배 줄였다.
• Map→Aerial photo 작업에서 Pix2pix를 사용한 경우, 압축된 모델은 원본 모델보다 강아지와 건물의 강도가 더 높고 선명한 이미지를 생성했으며, MACs는 4.2배 줄였다.
• GauGAN에서 압축된 모델은 원본 모델(13.8) 대비 FID 12.6을 기록했고, MACs는 3.8배 줄였다.
• 모든 벤치마크에서 원본 모델 성능(FID, mIoU)을 일관되게 향상시키거나 유지하면서 계산 비용을 극적으로 감소시켰다.
• 시각적 결과에서는 원본 모델이 실패하는 도전적인 입력에서도 압축된 모델이 더 현실적이고 세밀한 이미지를 생성하는 것으로 나타났다.

Figure 2 : IncResBlock includes three conventional convolution blocks and three depth-wise convolution blocks (dashed border), both with kernels sizes of 1, 3, 5. Normalization layers ( \eg , BN), and ReLU, are applied between each two consecutive convolution layers. A normalization layer that can b