[논문 리뷰] HAWQV3: Dyadic Neural Network Quantization

Zhewei Yao, Zhen Dong외 9명|arXiv (Cornell University)|2020. 11. 20.

Advanced Neural Network Applications참고 문헌 51인용 수 18

한 줄 요약

HAWQ-V3는 모든 추론 연산을 유일하게 정수 곱셈, 덧셈 및 비트 시프트만을 사용하는 혼합 정밀도 정수 전용 양자화 프레임워크를 도입한다—부동소수점 연산과 정수 나눗셈을 완전히 제거한다. 하드웨어 인식 정수 선형 프로그래밍을 사용해 비트 정밀도 설정을 최적화하여 4비트 양자화 시 1.45배의 성능 향상과 INT8 대비 23%의 지연 감소를 달성하면서도 높은 정확도를 유지하며, TVM 배포를 통해 실제 하드웨어에서 검증된 결과를 제공한다.

ABSTRACT

Current low-precision quantization algorithms often have the hidden cost of conversion back and forth from floating point to quantized integer values. This hidden cost limits the latency improvement realized by quantizing Neural Networks. To address this, we present HAWQV3, a novel mixed-precision integer-only quantization framework. The contributions of HAWQV3 are the following: (i) An integer-only inference where the entire computational graph is performed only with integer multiplication, addition, and bit shifting, without any floating point operations or even integer division; (ii) A novel hardware-aware mixed-precision quantization method where the bit-precision is calculated by solving an integer linear programming problem that balances the trade-off between model perturbation and other constraints, e.g., memory footprint and latency; (iii) Direct hardware deployment and open source contribution for 4-bit uniform/mixed-precision quantization in TVM, achieving an average speed up of $1.45 imes$ for uniform 4-bit, as compared to uniform 8-bit for ResNet50 on T4 GPUs; and (iv) extensive evaluation of the proposed methods on ResNet18/50 and InceptionV3, for various model compression levels with/without mixed precision. For ResNet50, our INT8 quantization achieves an accuracy of $77.58\%$, which is $2.68\%$ higher than prior integer-only work, and our mixed-precision INT4/8 quantization can reduce INT8 latency by $23\%$ and still achieve $76.73\%$ accuracy. Our framework and the TVM implementation have been open sourced.

연구 동기 및 목표

• 신경망 추론에서 부동소수점 연산을 제거하여 정수 전용 하드웨어 가속기와의 완전한 호환성을 확보한다.
• 기존 양자화 방법에서 부동소수점 변환의 숨겨진 비용이 지연 향상에 제한을 주는 문제를 해결한다.
• 정확도, 모델 크기, 지연, 계산 비용을 최적의 균형을 이루는 하드웨어 인식 혼합 정밀도 양자화 전략을 개발한다.
• Apache TVM을 통해 4비트 및 혼합 정밀도 INT4/INT8 모델을 직접 하드웨어에 배포할 수 있도록 하며, 성능을 검증한다.
• 새로운 정수 산술과 최적화를 통해 이전의 정수 전용 양자화 방법보다 더 높은 정확도와 더 빠른 추론을 달성한다.

제안 방법

• 프레임워크는 모든 추론 연산—컨볼루션, 배치 정규화, 잔차 연결—을 정수 산술(곱셈, 덧셈, 비트 시프트)만을 사용하여 수행하며, 부동소수점 연산이나 정수 나눗셈이 전혀 없다.
• 새로운 이진 산술 공식이 배치 정규화 파라미터를 가중치 스케일과 바이어스에 통합하여 BN 레이어의 전적으로 정수 전용 계산을 가능하게 한다.
• 하드웨어 인식 혼합 정밀도 양자화 전략은 정수 선형 프로그래밍(ILP) 공식을 사용해 각 레이어의 비트 정밀도를 동시에 최적화하여, 모델 크기, 지연, BOPS 제약 조건 하에서 모델의 변형을 최소화한다.
• ILP 솔버는 직접적인 하드웨어 측정치를 기반으로 하여 실제 배포 환경에서 정확도와 성능을 균형 잡는 최적의 정밀도 할당을 찾는다.
• 프레임워크는 Apache TVM과 통합되어 4비트 및 혼합 정밀도 INT4/INT8 추론을 지원하며, PyTorch에서 계층별 활성화 매칭을 통한 전체 모델 검증을 수행한다.
• 전체 파이프라인은 프레임워크, TVM 확장, 양자화된 모델을 포함해 오픈소스로 제공되며, T4 GPU에서 실제 하드웨어에서 검증된 결과를 제공한다.

실험 결과

연구 질문

• RQ1 모든 신경망 추론 연산을 부동소수점 연산이나 정수 나눗셈 없이 유일하게 정수 산술로 수행할 수 있는가?
• RQ2 모델 크기, 지연, 계산 비용에 대한 애플리케이션 특정 제약 조건을 충족하면서 정확도 손실를 최소화할 수 있는 혼합 정밀도 양자화는 어떻게 최적화할 수 있는가?
• RQ3 4비트 양자화가 과도한 정확도 저하 없이 8비트 추론 대비 상당한 성능 향상을 달성할 수 있는가?
• RQ4 실제 성능과 정확도 측면에서 ILP를 통한 하드웨어 인식 정밀도 할당이 히وري스틱 또는 시뮬레이션 기반 접근 방식보다 어떻게 비교되는가?
• RQ5 실제 하드웨어에 정수 전용 양자화를 성공적으로 배포할 수 있으며, 정확도와 지연 향상 결과를 검증할 수 있는가?

주요 결과

• HAWQ-V3는 ResNet50에 대해 INT8 양자화를 사용해 ImageNet에서 77.58%의 Top-1 정확도를 달성했으며, 이는 이전의 정수 전용 방법보다 2.68% 높은 성능이다.
• 혼합 정밀도 INT4/8 양자화는 ResNet50의 INT8 추론 지연을 23% 감소시켰으며, 정확도는 76.73%를 유지했다.
• T4 GPU에서 HAWQ-V3는 4비트 균일 양자화를 통해 ResNet50의 8비트 추론 대비 1.45배의 성능 향상을 달성했다.
• ResNet18의 경우 ILP 기반 혼합 정밀도 설정은 INT8 대비 6% 더 빠른 속도로 71.09%의 정확도를 달성했으며, 모델 크기는 7.2MB였다.
• 모든 모델에 대해 ILP 솔버는 1초 이내에 최적의 정밀도 할당을 찾았으며, 실용적인 배포를 가능하게 했다.
• 모든 결과는 TVM을 통해 실제 하드웨어에서 검증되었으며, 계층별 활성화가 기계 정밀도 내에서 정확히 일치하여 시뮬레이션 편향이 없음을 확인했다.