[논문 리뷰] Robust Quantization: One Model to Rule Them All

Moran Shkolnik, Brian Chmiel외 5명|arXiv (Cornell University)|2020. 02. 18.

Advanced Neural Network Applications참고 문헌 27인용 수 34

한 줄 요약

Kurtosis Regularization (KURE)를 제안하여 가중치를 균등한 분포에 가깝게 조정하고, 다양한 양자화 비트폭 및 정책에 강인하며 PTQ와 QAT와 호환되는 단일 모델을 얻는다.

ABSTRACT

Neural network quantization methods often involve simulating the quantization process during training, making the trained model highly dependent on the target bit-width and precise way quantization is performed. Robust quantization offers an alternative approach with improved tolerance to different classes of data-types and quantization policies. It opens up new exciting applications where the quantization process is not static and can vary to meet different circumstances and implementations. To address this issue, we propose a method that provides intrinsic robustness to the model against a broad range of quantization processes. Our method is motivated by theoretical arguments and enables us to store a single generic model capable of operating at various bit-widths and quantization policies. We validate our method's effectiveness on different ImageNet models.

연구 동기 및 목표

• 다양한 양자화 설정에서 작동하는 양자화에 강인한 DNN의 필요성을 동기화한다.
• 균일한 분포와 정규 분포의 양자화 강인성에 관한 이론적 프레임워크를 개발한다.
• 전체 정밀도 성능을 해치지 않으면서 텐서 분포를 균일성 toward으로 유도하는 KURE를 도입한다.
• ImageNet CNN에서 PTQ 및 QAT에 걸친 경험적 강인성 향상을 보여준다.

제안 방법

• 균일 분포와 정규 분포 하에서 양자화 민감도와 MSE를 공식화하여 균일성의 강인성 이점을 정당화한다.
• 균일 텐서가 정규 텐서보다 양자화 민감도가 더 낮다는 해석적 결과를 도출하고 증명한다.
• 가중치를 균일한 분포에 가까이 유도하는 kurtosis 기반의 정규화 항을 훈련 손실에 추가하여 KURE를 도입한다.
• 양자화 이전에 수렴성과 전체 정밀도 정확도에 악영향을 주지 않는 가중치 균일화가 가능함을 보여준다.
• 여러 아키텍처에서 PTQ와 QAT를 통해 ImageNet 모델에서 KURE를 경험적으로 검증한다.
• 이전 연구의 그래디언트 L1 정규화 방식과 KURE를 비교하여 계산 비용과 더 넓은 강인성의 이점을 강조한다.

실험 결과

연구 질문

• RQ1 가중치/활성화 분포가 양자화 스텝 크기와 비트 폭 변화에 대한 강인성에 어떤 영향을 미치는가?
• RQ2 균일하게 분포된 텐서가 일반적으로 분포된 텐서보다 양자화 민감도가 더 낮은가?
• RQ3 정규화 항이 Kurtosis를 타깃으로 하여 모델 가중치를 전체 정밀도 성능에 해를 끼치지 않고 균일한 분포에 가깝게 유도할 수 있는가?
• RQ4 단일 KURE-정규화 모델이 PTQ 및 QAT 하에서 서로 다른 양자화 정책 및 비트 폭에 대해 강인한가?
• RQ5 KURE가 기존 강인성 방법들과 성능 및 계산 비용 면에서 어떻게 비교되는가?

주요 결과

• 가중치의 균일한 분포가 스텝 크기 변화에 따른 양자화 민감도를 일반 분포보다 낮추는 것으로 나타난다.
• Kurtosis Regularization (KURE)는 수렴성이나 양자화 전에 전체 정밀도 정확도에 악영향을 주지 않으면서 균일한 분포에 가까운 가중치 분포를 강제할 수 있다.
• KURE는 PTQ 및 QAT 설정에서 양자화 스텝 크기의 변화 및 비트 폭의 변화에 대한 강인성을 향상시킨다.
• KURE는 이전의 L1 그래디언트 정규화 방법보다 더 강한 강인성을 달성하면서 계산 오버헤드는 더 낮다.
• ImageNet에서 ResNet-18/50 및 MobileNet-V2를 사용한 다수의 양자화 시나리오에서 강인성 향상을 보인다.