[논문 리뷰] Generative Zero-shot Network Quantization

Xiangyu He, Qinghao Hu외 2명|arXiv (Cornell University)|2021. 01. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 65인용 수 5

한 줄 요약

이 논문은 실제 훈련 데이터 없이 양자화된 신경망을 校정하기 위해 배치 정규화 통계를 사용하여 고해상도 합성 이미지를 생성하는 Generative Zero-shot Network Quantization (GZNQ)를 제안한다. 이미지 합성 문제를 배치 정규화 통계를 일치시키는 생성 모델링으로 재정의함으로써, GZNQ는 CIFAR-10/100 및 ImageNet에서 데이터 없는 4비트 양자화 분야에서 최고 성능을 달성한다.

ABSTRACT

Convolutional neural networks are able to learn realistic image priors from numerous training samples in low-level image generation and restoration. We show that, for high-level image recognition tasks, we can further reconstruct "realistic" images of each category by leveraging intrinsic Batch Normalization (BN) statistics without any training data. Inspired by the popular VAE/GAN methods, we regard the zero-shot optimization process of synthetic images as generative modeling to match the distribution of BN statistics. The generated images serve as a calibration set for the following zero-shot network quantizations. Our method meets the needs for quantizing models based on sensitive information, extit{e.g.,} due to privacy concerns, no data is available. Extensive experiments on benchmark datasets show that, with the help of generated data, our approach consistently outperforms existing data-free quantization methods.

연구 동기 및 목표

• 기밀 또는 보안 제약으로 인해 원본 훈련 데이터를 확보할 수 없는 상황에서 모델 양자화 문제를 해결한다.
• 실제 이미지에 접근할 수 없음에도 불구하고 현실적인 校정 데이터를 생성함으로써 제로샷 양자화 성능을 향상시킨다.
• 데이터 없는 양자화에서 사용되는 기존 배치 정규화 통계 일치 손실에 대해 생성 모델링 해석을 제공한다.
• 실제 데이터 분포를 반영하는 합성 이미지를 사용하여 저비트 양자화에 대한 고품질 활성화 校정을 가능하게 한다.

제안 방법

• 사전 훈련된 네트워크의 배치 정규화(BN) 통계(평균 μ 및 분산 σ²)를 이미지 생성을 위한 목표 분포로 활용한다.
• 모든 레이어의 BN 통계 분포를 일치시키는 것을 목표로 하는 생성 모델링 작업으로 이미지 합성 과정을 정의한다.
• 데이터 증강을 통한 노이즈 기반 최적화 프로세스를 사용하여 μ 및 σ² 분포에서 샘플링하며, 합성 이미지를 모델 파라미터로 간주한다.
• 최적화 중 샘플링 안정성을 향상시키기 위해 파라미터 공간을 제약하는 사전 정규화 항을 도입한다.
• 최적화된 이미지에서 합성 校정 데이터셋을 생성하여 양자화된 네트워크 활성화를 校정한다.
• 전체 정밀도 배치 정규화 및 편향 항을 유지한 채로 표준 양자화 기법(MSE 양자화기 등)을 적용한다.

실험 결과

연구 질문

• RQ1 실제 데이터가 없을 경우, 효과적으로 양자화된 네트워크를 校정할 수 있는 고해상도 합성 이미지를 생성할 수 있는가?
• RQ2 BN 통계의 생성 모델링은 히وري스틱 최적화 방법에 비해 제로샷 양자화 성능을 어떻게 향상시키는가?
• RQ3 왜 BN 통계가 데이터 없는 이미지 생성 및 校정에 효과적인 사전 조건이 되는가?
• RQ4 합성 이미지의 품질이 저비트 환경에서의 양자화 정확도와 얼마나 상관관계가 있는가?
• RQ5 제안된 방법은 기존의 데이터 없는 양자화 손실에 비해 더 해석 가능하고 원리적인 대안을 제공할 수 있는가?

주요 결과

• GZNQ는 4비트 CIFAR-10/100 및 ImageNet 벤치마크에서 기존의 데이터 없는 양자화 방법을 일관되게 능가한다.
• ResNet-34 및 ResNet-50 양자화 모델에서 4비트 기준으로 최고 성능을 기록하며, ZeroQ, Knowledge Within, Deep Inversion 등에 비해 뚜렷한 향상을 보였다.
• qualitative 비교 및 Inception Score(IS) 지표를 통해 GZNQ가 생성한 이미지가 기존 기법 대비 더 높은 시각적 사실감과 현실성을 확보했다.
• GZNQ가 생성한 이미지의 Inception Score는 이전 방법을 뛰어넘어 더 높은 품질과 다양성을 나타냈다.
• 단지 클래스당 100장의 합성 이미지만으로도 대규모 ImageNet에서 뛰어난 성능 유지를 보이며 강건성을 입증했다.
• BN 통계를 생성 목표로 사용함으로써, 제로샷 양자화에서 기존 최적화 손실의 원리적인 해석이 가능해졌다.