[논문 리뷰] Layer-Wise Data-Free CNN Compression

Maxwell Horton, Yanzi Jin외 2명|arXiv (Cornell University)|2020. 11. 18.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 기존 훈련 데이터가 없이도, 배치 정규화 통계만을 사용하여 합성 입력을 생성함으로써, 실질적 데이터 없이도 효율적인 양자화와 프루닝을 가능하게 하는 계층별 데이터 프리 없는 방법을 제안한다. 이는 엣지 배포를 위한 전처리된 CNN의 압축을 위해 효과적이다. 8비트 양자화에서는 기존 최고 성능(SOTA)을 +0.34% 향상시키며, 5비트에서는 최대 28.50% 향상시키며, 효율적인 베이스라인보다 프루닝 성능에서 뛰어나다. 또한 고비용 생성 기반 방법을 개선하는 데에도 효과적이다.

ABSTRACT

We present a computationally efficient method for compressing a trained neural network without using real data. We break the problem of data-free network compression into independent layer-wise compressions. We show how to efficiently generate layer-wise training data using only a pretrained network. We use this data to perform independent layer-wise compressions on the pretrained network. We also show how to precondition the network to improve the accuracy of our layer-wise compression method. We present results for layer-wise compression using quantization and pruning. When quantizing, we compress with higher accuracy than related works while using orders of magnitude less compute. When compressing MobileNetV2 and evaluating on ImageNet, our method outperforms existing methods for quantization at all bit-widths, achieving a $+0.34\%$ improvement in $8$-bit quantization, and a stronger improvement at lower bit-widths (up to a $+28.50\%$ improvement at $5$ bits). When pruning, we outperform baselines of a similar compute envelope, achieving $1.5$ times the sparsity rate at the same accuracy. We also show how to combine our efficient method with high-compute generative methods to improve upon their results.

연구 동기 및 목표

• 엣지 배포를 위해 기존 훈련 데이터 없이도 효율적인 데이터 프리 CNN 압축을 가능하게 하기 위해.
• 기본 훈련 데이터가 개인정보, 법적 제약 또는 저장 용량 문제로 이용이 불가능한 상황에서 모델을 압축하는 문제를 해결하기 위해.
• 재훈련 없이도 실질적 데이터를 사용하지 않고도 양자화 및 프루닝 과정에서 높은 정확도를 유지할 수 있는 계산 효율성이 높은 방법을 개발하기 위해.
• 합성 데이터 생성을 통해 계층별 최적화를 가능하게 함으로써 기존 데이터 프리 방법을 개선하기 위해.
• 효율적으로 생성된 데이터와 고비용 생성 기반 방법을 융합하여 성능을 추가로 향상시키기 위해.

제안 방법

• 네트워크 압축을 독립적인 계층별 문제로 분해하며, 각 계층을 전처리된 교사 네트워크의 해당 계층으로부터 지식 정복을 통해 훈련하는 학생 네트워크로 간주한다.
• 각 계층의 합성 입력 데이터는 교사 네트워크의 배치 정규화 통계를 역으로 풀어내어, 해당 계층의 활성화 통계와 일치하는 노이즈 입력을 사용해 생성한다.
• 훈련 안정성 향상과 정확도 향상을 위해 전처리 기법인 AFCLE(적응형 특성별 채널별 선형 등가)를 적용한다.
• 학생 네트워크는 교사의 출력 소프트맥스 확률을 기반으로 지식 정복을 통해 훈련되며, 정복 손실을 최소화한다.
• 프루닝을 위해 스파arsity 유도 가중치 감소를 적용하고, 각 계층의 프루닝 예산을 학습하여 스파arsity 패턴을 유도한다.
• 비용이 많이 드는 생성 기반 방법(DI, AKD 등)과 결합할 수 있으며, 이는 목적 함수에 계층별 손실을 추가함으로써 성능을 향상시키며, 실질적 데이터가 필요하지 않다.

실험 결과

연구 질문

• RQ1 실제 훈련 데이터에 접근할 수 없을 때, CNN 압축을 효과적으로 독립적인 계층별 최적화 문제로 분리할 수 있는가?
• RQ2 특정 계층의 입력 분포를 근사하기 위해 합성 데이터를 효율적으로 생성할 수 있는 방법은 무엇인가?
• RQ3 극도의 양자화 또는 프루닝 조건에서도 정확도를 향상시킬 수 있는 기법은 무엇인가?
• RQ4 계산 비용이 높은 생성 기반 방법과 계산 효율성이 높은 데이터 프리 방법을 융합하여 성능을 향상시킬 수 있는가?
• RQ5 기존의 데이터 프리 및 데이터 라이트 기반 베이스라인과 비교해 본다면, 제안된 방법은 정확도와 효율성 측면에서 어떻게 다른가?

주요 결과

• ImageNet에서 MobileNetV2의 8비트 양자화에서 기존 최고 성능(SOTA)보다 +0.34% 정확도 향상을 달성하며, 더 낮은 비트 폭에서 더 큰 성능 향상을 보였다.
• 5비트 양자화에서는 기존 데이터 프리 방법 대비 +28.50%의 상대적 정확도 향상을 기록하여, 저비트 성능에서 뛰어난 성능을 입증했다.
• 프루닝에서는 동일한 정확도에서 기존 효율적 베이스라인 대비 1.5배 높은 스파arsity를 달성했으며, 전역, 균일, ERK 프루닝 베이스라인을 모두 능가했다.
• 제거 실험 결과, 입력 스케일링과 AFCLE 모두 필수적임을 확인했다. 둘 중 하나를 생략할 경우 정확도가 크게 떨어지며, 입력 스케일링만 생략해도 MobileNetV1 프루닝에서 1.5%의 정확도 감소가 발생했다.
• DI 또는 AKD와 결합할 경우 성능 향상이 가능했으며, 특히 EfficientNet B0와 MobileNetV2에서 각각의 방법보다 더 우수한 스파arsity-정확도 트레이드오프를 달성했다.
• 높은 계산 비용을 요구하는 생성 기반 방법 대비 수 개의 주기로 계산 자원을 수십만 배 이상 줄였으며, 더 높거나 경쟁 가능한 성능을 유지했다.