[논문 리뷰] Optimal Clipping and Magnitude-aware Differentiation for Improved Quantization-aware Training

Charbel Sakr, Steve Dai외 4명|arXiv (Cornell University)|2022. 06. 13.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 양자화 인식 훈련(QAT) 중에 실시간으로 MSE 최적의 클리핑 스케일러를 계산하는 재귀적 뉴턴-라프슨 기반 알고리즘인 OCTAV를 제안한다. 이는 각 반복에서 텐서당 양자화 노이즈를 최소화한다. 또한 기울기 추정을 향상시키기 위해 크기 인지 기반 미분을 도입하여, ResNets, MobileNets에서 ImageNet 및 BERT 미세조정을 포함한 4–6비트 저해도 양자화 훈련에서 최신 기술 수준의 정확도를 달성한다. 이는 양자화 연산을 삽입하는 것 외에 훈련 레시피를 수정하지 않는다는 점에서 특징이다.

ABSTRACT

Data clipping is crucial in reducing noise in quantization operations and improving the achievable accuracy of quantization-aware training (QAT). Current practices rely on heuristics to set clipping threshold scalars and cannot be shown to be optimal. We propose Optimally Clipped Tensors And Vectors (OCTAV), a recursive algorithm to determine MSE-optimal clipping scalars. Derived from the fast Newton-Raphson method, OCTAV finds optimal clipping scalars on the fly, for every tensor, at every iteration of the QAT routine. Thus, the QAT algorithm is formulated with provably minimum quantization noise at each step. In addition, we reveal limitations in common gradient estimation techniques in QAT and propose magnitude-aware differentiation as a remedy to further improve accuracy. Experimentally, OCTAV-enabled QAT achieves state-of-the-art accuracy on multiple tasks. These include training-from-scratch and retraining ResNets and MobileNets on ImageNet, and Squad fine-tuning using BERT models, where OCTAV-enabled QAT consistently preserves accuracy at low precision (4-to-6-bits). Our results require no modifications to the baseline training recipe, except for the insertion of quantization operations where appropriate.

연구 동기 및 목표

• 기존 QAT 방법에서 히우리스틱 클리핑 임계치로 인해 발생하는 최적화되지 않은 양자화 노이즈 문제를 해결하기 위해.
• 훈련 중 실시간으로 계산되는 MSE 최적의 클리핑 스케일러를 통해 하이퍼파rameter 튜닝에 의존하지 않도록 하기 위해.
• 표준 클리핑 기반 기울기 추정 방법의 한계를 해결하기 위해 크기 인지 기반의 미분을 도입하여 QAT의 기울기 추정을 향상시키기 위해.
• 기본 훈련 레시피를 수정하지 않고도 저해도 딥 뉴럴 네트워크 훈련에서 최신 기술 수준의 정확도를 달성하기 위해.
• 동적 및 정적 양자화 환경에 모두 적용 가능한 일반적이고 효율적이며 재현 가능한 저해도 딥 뉴럴 네트워크 훈련 방법을 제공하기 위해.

제안 방법

• OCTAV는 각 QAT 반복에서 각 텐서에 대해 MSE 최적의 클리핑 스케일러를 빠르게 계산하기 위해 뉴턴-라프슨 방법을 재귀적으로 사용한다.
• 알고리즘은 양자화 노이즈를 최소화하는 클리핑 임계치를 동적으로 결정하여 각 단계에서 증명 가능한 최적의 성능을 보장한다.
• 기본 기울기 추정기의 편향을 보정하기 위해 활성화 크기에 따라 기울기를 가중치를 적용하는 크기 인지 기반의 미분 기법을 도입한다.
• 적절한 레이어에 양자화 연산을 삽입함으로써 표준 QAT 파이프라인 내에서 적용되며, 훈련 레시피의 수정이 필요 없다.
• 정적 양자화의 경우, OCTAV는 훈련 이전에 캘리브레이션 단계에서 최적의 클리핑 스케일러를 한 번만 계산한다.
• 4–8비트 정밀도로 다양한 모델(ResNets, MobileNets, BERT)과 작업(초기 훈련, 재훈련, 미세조정)을 대상으로 평가된다.

실험 결과

연구 질문

• RQ1 히우리스틱이나 하이퍼파rameter 튜닝에 의존하지 않고 QAT에서 양자화 노이즈를 최소화하는 클리핑 스케일러를 계산할 수 있는가?
• RQ2 OCTAV를 통한 최적의 클리핑은 백분위수 기반 또는 MSE 스위프 기반의 기존 캘리브레이션 전략과 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ3 클리핑 QAT에서 표준 기울기 추정의 한계는 무엇이며, 크기 인지 기반의 미분 기법으로 이를 완화할 수 있는가?
• RQ4 시간에 따라 변하는 텐서 통계가 있는 상황(예: 미세조정)에서 동적 OCTAV는 정적 양자화 전략보다 우수한 성능을 내는가?
• RQ5 OCTAV는 동적 및 정적 양자화 환경 모두에 효과적으로 적용되어 정확도를 유지하거나 향상시킬 수 있는가?

주요 결과

• OCTAV 기반 QAT는 ResNet-50 및 MobileNet-V2에서 ImageNet에서 최신 기술 수준의 정확도를 달성하였으며, 4비트 모델은 동적 양자화에서 상위-1 정확도 87.09%를 기록했다.
• BERT-base의 미세조정에서, 동적-OCTAV는 6비트일 경우 정확도 하락이 1% 이내이며, 4비트일 경우 약 4% 이하로 유지되어 모든 다른 방법보다 뛰어난 성능을 보였다.
• 정적-OCTAV 캘리브레이션은 비 convex한 양자화 MSE 경로를 더 잘 다루기 때문에 BERT-base에서 MSE 스위프보다 4비트에서 약 1.5% 높은 성능을 보였다.
• CPU에서 OCTAV 캘리브레이션 과정은 MSE 스위프 대비 약 10배 빠르며, 대규모 모델에 실용적으로 적용 가능하다.
• 크기 인지 기반의 미분은 특히 저비트 환경에서 기울기 추정을 크게 향상시켜 수렴성과 정확도 향상에 기여한다.
• OCTAV는 훈련 레시피를 수정하지 않고 최적의 성능을 달성하며, 적절한 레이어에 양자화 연산을 삽입하기만 하면 된다.