[논문 리뷰] Gradient $\ell_1$ Regularization for Quantization Robustness

Milad Alizadeh, Arash Behboodi외 4명|arXiv (Cornell University)|2020. 02. 18.

Advanced Neural Network Applications참고 문헌 27인용 수 10

한 줄 요약

이 논문은 신경망의 포스트트레이닝 양자화에 대한 강건성을 향상시키기 위해 기울기 ℓ₁ 정규화를 제안한다. 양자화를 ℓ∞-유계 노이즈로 모델링하고, 손실의 1차 변동을 제어하기 위해 기울기의 ℓ₁-노름을 사용한다. 이 방법은 재학습 없이도 다양한 비트 폭으로 실시간으로 양자화를 수행할 수 있게 하며, 저비트 영역에서 베이스라인 및 양자화 인식 학습보다 뛰어난 성능을 보이며, 전체 정밀도 정확도를 유지한다.

ABSTRACT

We analyze the effect of quantizing weights and activations of neural networks on their loss and derive a simple regularization scheme that improves robustness against post-training quantization. By training quantization-ready networks, our approach enables storing a single set of weights that can be quantized on-demand to different bit-widths as energy and memory requirements of the application change. Unlike quantization-aware training using the straight-through estimator that only targets a specific bit-width and requires access to training data and pipeline, our regularization-based method paves the way for "on the fly'' post-training quantization to various bit-widths. We show that by modeling quantization as a $\ell_\infty$-bounded perturbation, the first-order term in the loss expansion can be regularized using the $\ell_1$-norm of gradients. We experimentally validate the effectiveness of our regularization scheme on different architectures on CIFAR-10 and ImageNet datasets.

연구 동기 및 목표

• 모바일 및 IoT 시스템과 같은 자원 제약이 있는 장치에 신경망을 구현하는 데 도전 과제를 해결하기 위해.
• 재학습이나 훈련 데이터에 접근할 필요 없이 사전 훈련된 모델이 다양한 비트 폭으로 포스트트레이닝 양자화에 대해 강건성을 향상시키기 위해.
• 다양한 비트 폭에 동시에 ℓ∞-유계 양자화 노이즈에 대한 1차 강건성을 보장하는 정규화 기법을 개발하기 위해.
• 배터리 수준나 메모리 가용성과 같은 런타임 자원 제약에 따라 실시간으로 다양한 비트 폭으로 양자화를 수행할 수 있도록 하기 위해.

제안 방법

• 각 가중치와 활성화 값이 고정된 비트 폭 δ 내에서 변동하는 ℓ∞-유계 편향으로서 모델 양자화 노이즈를 모델링한다.
• 이 편향 하에서 손실 함수의 1차 테일러 전개를 유도하여, 기울기 항이 양자화에 대한 민감도의 주요 원인임을 확인한다.
• 네트워크 파라미터에 대한 기울기의 ℓ₁-노름을 페널티로 삼는 정규화 항을 제안하여, 양자화가 손실에 미치는 최대 영향을 최소화한다.
• 훈련 파ipel라인을 수정하거나 직선 통과 추정기(Straight-Through Estimator)가 필요 없이, 최종 훈련 또는 미세조정 단계에서 정규화를 적용한다.
• 전체 정밀도 정확도와 양자화 강건성 사이의 균형을 맞추기 위해 하이퍼파rameter λ를 사용하며, FP 성능을 유지하기 위해 그리드 서치로 튜닝한다.
• 이 방법이 아키텍처(VGG, ResNet)와 데이터셋(CIFAR-10, ImageNet)에 걸쳐 일반화됨을 입증하여, 다양한 비트 폭에서 일관된 성능을 제공한다.

실험 결과

연구 질문

• RQ1 재학습 없이 다양한 비트 폭에서 포스트트레이닝 양자화에 강건한 신경망을 정규화할 수 있는가?
• RQ2 양자화를 ℓ∞-유계 노이즈로 모델링하면 기울기 민감도에 대한 체계적인 정규화 전략을 어떻게 도출할 수 있는가?
• RQ3 저비트 영역에서 기존 방법인 양자화 인식 학습 또는 방어적 양자화보다 기울기 ℓ₁ 정규화가 더 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법은 런타임 자원 제약(예: 배터리 수준, 메모리 가용성)에 따라 다양한 비트 폭으로 실시간으로 양자화를 가능하게 하는가?
• RQ5 기울기 ℓ₁ 정규화를 적용할 때 전체 정밀도 정확도와 양자화 강건성 사이의 상충 관계는 어떠한가?

주요 결과

• VGG 유사 아키텍처를 사용한 CIFAR-10에서, 제안된 ℓ₁ 정규화는 8비트일 때 70.07%의 상위-1 정확도, 4비트일 때 66.39%를 기록하여, 베이스라인 및 L2 정규화를 초월했다.
• ResNet-18을 사용한 ImageNet에서, 이 방법은 8비트일 때 69.92%, 4비트일 때 66.39%의 성능을 기록하여, 저비트 폭에서 양자화 인식 학습과 동등하거나 이를 초월했다.
• λ=0.05일 때, CIFAR-10에서 4비트일 때 64.02%의 정확도를 기록하여, 더 강한 정규화가 전체 정밀도 정확도를 희생하면서도 성능을 복구할 수 있음을 보였다.
• 방어적 양자화(Lin et al., 2019)보다 성능이 뛰어나며, 이는 특이값을 너무 엄격하게 정규화하여 ResNet-18에서 성능 향상을 이루지 못했기 때문이다.
• ℓ₂ 기울기 정규화와 비교해 ℓ₁ 정규화가 더 우수한 성능을 보였으며, 이는 최악의 경우 기울기 영향을 제어하는 데 이론적 우수성을 확인한다.
• 이 방법은 재학습이나 데이터 접근 없이도 다양한 비트 폭에서 일관된 포스트트레이닝 양자화를 가능하게 하여, 다양한 자원 제약 조건 하에서도 동적 배포를 지원한다.