[논문 리뷰] Quantization-Aware Regularizers for Deep Neural Networks Compression

Dario Malchiodi, Mattia Ferraretto외 1명|arXiv (Cornell University)|2026. 02. 03.

Advanced Neural Network Applications인용 수 0

한 줄 요약

본 논문은 학습 중 가중치를 다중 구간으로 형성하도록 유도하고 양자화 대표를 공동으로 학습하는 층별 양자화-인식 정규화를 도입하여 최소한의 정확도 손실로 압축 성능을 향상시킨다.

ABSTRACT

Deep Neural Networks reached state-of-the-art performance across numerous domains, but this progress has come at the cost of increasingly large and over-parameterized models, posing serious challenges for deployment on resource-constrained devices. As a result, model compression has become essential, and -- among compression techniques -- weight quantization is largely used and particularly effective, yet it typically introduces a non-negligible accuracy drop. However, it is usually applied to already trained models, without influencing how the parameter space is explored during the learning phase. In contrast, we introduce per-layer regularization terms that drive weights to naturally form clusters during training, integrating quantization awareness directly into the optimization process. This reduces the accuracy loss typically associated with quantization methods while preserving their compression potential. Furthermore, in our framework quantization representatives become network parameters, marking, to the best of our knowledge, the first approach to embed quantization parameters directly into the backpropagation procedure. Experiments on CIFAR-10 with AlexNet and VGG16 models confirm the effectiveness of the proposed strategy.

연구 동기 및 목표

• 큰 DNN의 가중치 양자화를 통한 압축의 도전과제 및 상당한 정확도 손실 없이 해결하려는 동기화
• 훈련 중 양자화 친화적인 가중치 분포를 유도하는 정규화 항의 도입
• 역전파에 양자화 매개변수를 내재시키는 정적 및 동적(학습 가능한) 양자화-인식 정규화의 제안
• AlexNet과 VGG16으로 CIFAR-10에서 사전-조정 및 조정 후 이 접근법의 이점을 보여줌

제안 방법

• 표준 손실에 양자화-인식 정규화를 추가하는 훈련 목표 정의
• 사인/코사인 주기적 베이스를 기반으로 한 두 개의 정적(R_S, R_C)과 학습 가능한 베이스 u를 가진 두 개의 동적(R_M, R_E) 정규화 계열 제시
• 추가 매개변수로서 학습 중 최적화되는 학습 가능한 양자화 수준 u를 도입
• 정규화가 이후의 가중치 공유 또는 압축 중 양자화와 통합되도록 허용
• 양자화 대표가 네트워크 매개변수와 함께 학습될 수 있음을 보이고, 역전파에 양자화를 내재화

실험 결과

연구 질문

• RQ1 양자화-인식 정규화가 향후 양자화 목표와 맞물리는 가중치 베이스를 만들 수 있는가?
• RQ2 정적 대 동적(학습 가능한) 베이스라인이 양자화 친화성 및 정확도에 어떤 영향을 미치는가?
• RQ3 다른 양자화 수준(K)에서 CIFAR-10의 AlexNet 및 VGG16에 대해 양자화-인식 정규화가 사전-조정 및 조정 후 정확도에 어떤 영향을 미치는가?
• RQ4 학습 가능한 양자화 수준이 고정 베이스라인보다 성능을 향상시키는가, 층과 아키텍처 전반에 걸쳐?

주요 결과

• 제안된 정규화를 이용한 사전-조정 정확도는 베이스라인보다 상당히 높으며(AlexNet에서 최대 3×, VGG16에서 최대 6×).
• 동적 정규화(R_M, R_E)가 일반적으로 정적보다 더 나은 결과를 내며, 특히 VGG16과 같이 큰 모델에서 더 그렇다.
• 정적 정규화 중에서 R_E는 R_M과 결합하지 않을 때 종종 더 높은 정확도를 달성한다.
• 공격적인 양자화(K=8)에서 조정 후 이점이 더 두드러지며, 특히 동적 정규화를 사용할 때 그렇다.
• 양자화 대표가 학습 가능한 매개변수가 되어 역전파를 통해 업데이트되며 손실 지형에 맞춰 적응할 수 있다.
• AlexNet 및 VGG16을 이용한 CIFAR-10 실험은 이 접근법이 양자화 친화성을 향상시키고 clustering 후 정확도를 유지시킨다.