[논문 리뷰] Training with Quantization Noise for Extreme Fixed-Point Compression

Angela Fan, Pierre Stock외 5명|arXiv (Cornell University)|2020. 04. 15.

Advanced Neural Network Applications인용 수 9

한 줄 요약

이 논문은 정규 int8를 초월하는 극한의 고정점 압축을 가능하게 하기 위해 양자화 노이즈를 활용한 딥 네ural 네트워크 훈련을 제안한다. 무작위 부분집합에 대한 확률적 가중치 양자화를 통해 편향 없는 기울기 흐름을 가능하게 한다. 이 방법은 상태 기반의 정확도-압축 트레이드오프를 달성하며, 14MB RoBERTa 모델로 MNLI에서 82.5%의 정확도를, 3.3MB EfficientNet-B3로 ImageNet에서 80.0%의 top-1 정확도를 달성한다.

ABSTRACT

We tackle the problem of producing compact models, maximizing their accuracy for a given model size. A standard solution is to train networks with Quantization Aware Training, where the weights are quantized during training and the gradients approximated with the Straight-Through Estimator. In this paper, we extend this approach to work beyond int8 fixed-point quantization with extreme compression methods where the approximations introduced by STE are severe, such as Product Quantization. Our proposal is to only quantize a different random subset of weights during each forward, allowing for unbiased gradients to flow through the other weights. Controlling the amount of noise and its form allows for extreme compression rates while maintaining the performance of the original model. As a result we establish new state-of-the-art compromises between accuracy and model size both in natural language processing and image classification. For example, applying our method to state-of-the-art Transformer and ConvNet architectures, we can achieve 82.5% accuracy on MNLI by compressing RoBERTa to 14MB and 80.0 top-1 accuracy on ImageNet by compressing an EfficientNet-B3 to 3.3MB.

연구 동기 및 목표

• 극한의 압축 제약 조건, 특히 int8를 초월하는 상황에서 높은 모델 정확도를 달성하는 데 도전하는 것.
• 극한의 양자화 중 Straight-Through Estimator (STE)의 기울기 근사 오류로 인한 성능 저하를 극복하는 것.
• 제어된 확률적 노이즈를 도입함으로써, Product Quantization와 같은 저해상도 고정점 표현에 효과적인 훈련을 가능하게 하는 것.
• 자연어 처리(NLP) 및 컴퓨터 비전 분야에서 새로운 최고 성능의 정확도-압축 트레이드오프를 수립하는 것.

제안 방법

• 각 순전파 단계에서 가중치의 무작위 부분집합을 확률적으로 양자화하여 제어된 노이즈를 도입하고, 편향 없는 기울기 흐름을 가능하게 한다.
• 기울기 정확도와 압축 효율성 사이의 트레이드오프를 균형 잡기 위해 노이즈 제어 메커니즘을 사용한다.
• 확률적 양자화 과정을 고려한 수정된 손실 함수를 사용하여 훈련에 적용한다.
• 기존의 STE가 높은 근사 오류로 인해 실패하는 경우가 많은 극한의 압축 기법인 Product Quantization로도 접근을 확장한다.
• 양자화되지 않은 가중치는 정밀도 유지 기울기를 유지하면서, 양자화된 가중치는 노이즈가 포함된 기울기를 통해 업데이트할 수 있도록 한다.
• 아키텍처 수정 없이도 표준 훈련 파이프라인에 통합 가능하게 Transformer 및 ConvNets에 적용한다.

실험 결과

연구 질문

• RQ1 무작위 부분집합 선택을 통한 확률적 가중치 양자화가 극한의 고정점 양자화에서 기울기 추정을 향상시킬 수 있는가?
• RQ2 제어된 양자화 노이즈를 도입함으로써 Product Quantization와 같은 압축 방법에 효과적인 훈련이 가능해지는가?
• RQ3 제안된 방법이 자연어 처리 및 이미지 분류 모두에서 최고 성능의 정확도-압축 트레이드오프를 달성할 수 있는가?
• RQ4 14MB RoBERTa 또는 3.3MB EfficientNet-B3와 같은 극한의 압축 조건에서 이 방법의 성능은 어떠한가?

주요 결과

• RoBERTa를 14MB로 압축했을 때 MNLI 벤치마크에서 82.5%의 정확도를 달성하여, 모델 크기 기준으로 새로운 SOTA를 수립한다.
• EfficientNet-B3를 단지 3.3MB로 압축했을 때 ImageNet에서 80.0%의 top-1 정확도를 달성하며, 이는 이전 방법을 초월한다.
• Product Quantization와 같은 극한의 양자화에서도 안정적인 훈련과 높은 성능을 달성할 수 있으며, 이는 기존 STE가 실패하는 영역이다.
• 무작위 부분집합 양자화를 통해 편향 없는 기울기를 제공함으로써, 저해상도 훈련에서의 근사 오류를 감소시킨다.