[논문 리뷰] Gradient 𝓁 1 Regularization for Quantization Robustness.

Milad Alizadeh, Arash Behboodi외 4명|arXiv (Cornell University)|2020. 01. 01.

Advanced Neural Network Applications인용 수 3

한 줄 요약

이 논문은 다양한 비트 폭에서 후기훈련 양자화에 대한 신경망의 강건성을 향상시키기 위해 그래디언트 기반 ℓ₁ 정규화 기법을 제안한다. 양자화를 ℓ∞-유계 변형으로 모델링함으로써, 훈련 중에 그래디언트의 ℓ₁-노름을 정규화하여, 재훈련이나 훈련 데이터 접근 없이도 다양한 정밀도 수준으로 즉시 양자화할 수 있는 단일 모델을 가능하게 한다.

ABSTRACT

We analyze the effect of quantizing weights and activations of neural networks their loss and derive a simple regularization scheme that improves robustness against post-training quantization. By training quantization-ready networks, our approach enables storing a single set of weights that can be quantized on-demand to different bit-widths as energy and memory requirements of the application change. Unlike quantization-aware training using the straight-through estimator that only targets a specific bit-width and requires access to training data and pipeline, our regularization-based method paves the way for on the fly'' post-training quantization to various bit-widths. We show that by modeling quantization as a $\ell_\infty$-bounded perturbation, the first-order term in the loss expansion can be regularized using the $\ell_1$-norm of gradients. We experimentally validate the effectiveness of our regularization scheme different architectures CIFAR-10 and ImageNet datasets.

연구 동기 및 목표

• 다양한 비트 폭으로 후기훈련 양자화 후 모델 정확도를 유지하는 문제를 해결한다.
• 각 목표 비트 폭마다 재훈련이 필요하고 훈련 데이터 접근이 필요한 양자화 인식 훈련의 한계를 극복한다.
• 즉각적인 다양한 정밀도 수준으로의 양자화를 가능하게 하는 훈련 시 정규화 방법을 개발한다.
• 추론 파이프라인 수정 없이도 양자화에 대한 강건성을 향상시킨다.

제안 방법

• 후기훈련 양자화를 네트워크 가중치와 활성화에 대한 ℓ∞-유계 변형으로 모델링한다.
• 양자화 변형 하에서 손실의 일阶 테일러 전개를 유도한다.
• 손실 전개에서 그래디언트 항을 양자화 오차의 주요 원인으로 식별한다.
• 입력과 가중치에 대한 그래디언트의 ℓ₁-노름을 정규화하여 양자화에 대한 민감도를 감소시킨다.
• 표준 역전파를 사용하여 표준 훈련 중에 정규화를 적용한다.
• 재튜닝 없이도 여러 비트 폭으로 즉시 양자화가 가능한 단일 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 단일 신경망이 다양한 후기훈련 양자화 비트 폭에서 강건성을 유지할 수 있는가?
• RQ2 양자화를 ℓ∞-유계 변형으로 모델링함으로써, 양자화 강건성 정규화 설계에 어떤 통찰을 제공하는가?
• RQ3 표준 훈련 대비 그래디언트의 ℓ₁ 정규화가 다양한 양자화 수준으로의 일반화를 향상시키는가?
• RQ4 제안된 방법은 훈련 데이터 접근이나 재훈련 없이도 다양한 비트 폭에서 경쟁 가능한 정확도를 달성할 수 있는가?

주요 결과

• 제안된 ℓ₁ 그래디언트 정규화는 다양한 비트 폭에서 후기훈련 양자화 이후 테스트 정확도를 크게 향상시킨다.
• 제안된 방법으로 훈련된 모델은 재훈련 없이도 4비트, 6비트, 8비트 정밀도로 양자화된 상태에서도 높은 정확도를 유지한다.
• 즉각적인 다양한 비트 폭으로의 양자화가 요구되는 환경에서, 표준 훈련 및 양자화 인식 훈련보다 성능이 뛰어나다.
• 이론적 및 실증적 분석을 통해 정규화가 ℓ∞-유계 양자화 변형에 대한 손실 민감도를 효과적으로 감소시킴을 보였다.