[논문 리뷰] MQBench: Towards Reproducible and Deployable Model Quantization Benchmark

Yuhang Li, Mingzhu Shen외 7명|arXiv (Cornell University)|2021. 11. 05.

Advanced Neural Network Applications인용 수 23

한 줄 요약

MQBench는 모델 양자화를 위한 재현 가능하고 구현 가능한 벤치마크를 도입하여, 다섯 가지 실제 하드웨어 플랫폼(CPU, GPU, ASIC, DSP)에서 훈련 파이pline을 통합하고 최신 양자화 알고리즘을 평가한다. 이는 일관된 훈련 조건에서는 알고리즘이 유사하게 성능을 내지만, 하드웨어에 구현 가능한 설정에서는 여전히 심각한 정확도 격차가 존재하며, 어떤 알고리즘도 모든 과제에서 우월하지 않음을 드러내어 양자화 연구 분야에서 재현 가능성과 구현 가능성의 핵심 격차를 노출시킨다.

ABSTRACT

Model quantization has emerged as an indispensable technique to accelerate deep learning inference. While researchers continue to push the frontier of quantization algorithms, existing quantization work is often unreproducible and undeployable. This is because researchers do not choose consistent training pipelines and ignore the requirements for hardware deployments. In this work, we propose Model Quantization Benchmark (MQBench), a first attempt to evaluate, analyze, and benchmark the reproducibility and deployability for model quantization algorithms. We choose multiple different platforms for real-world deployments, including CPU, GPU, ASIC, DSP, and evaluate extensive state-of-the-art quantization algorithms under a unified training pipeline. MQBench acts like a bridge to connect the algorithm and the hardware. We conduct a comprehensive analysis and find considerable intuitive or counter-intuitive insights. By aligning the training settings, we find existing algorithms have about the same performance on the conventional academic track. While for the hardware-deployable quantization, there is a huge accuracy gap which remains unsettled. Surprisingly, no existing algorithm wins every challenge in MQBench, and we hope this work could inspire future research directions.

연구 동기 및 목표

• 일관되지 않은 훈련 파이pline과 하드웨어 특화 가정으로 인해 모델 양자화 연구 분야에서 재현 가능성과 구현 가능성에 대한 부족함을 해결하기 위해.
• 표준화된 훈련 설정과 실제 하드웨어 배포 조건에서 양자화 알고리즘을 평가할 수 있는 통합 벤치마크 프레임워크를 구축하기 위해.
• 학술 성능과 실제 하드웨어 배포 결과 사이의 괴리를 식별하고 분석하기 위해.
• BN 폴딩, 그래프 수준의 양자화, 파라미터 공유와 같은 하드웨어 인지 양자화 기법을 통합함으로써 알고리즘 연구와 실질적 배포 간 격차를 메우기 위해.
• 기존 알고리즘이 모든 재현 가능하고 구현 가능한 벤치마크에서 일관되게 뛰어나지 않음을 드러내어 향후 연구를 자극하기 위해.

제안 방법

• MQBench는 모든 평가 대상 양자화 알고리즘 간에 동일한 훈련 하이퍼파ram터, 옵티마이저 설정, 데이터 증강 기법을 표준화하여 재현 가능성을 확보한다.
• 이 벤치마크는 ImageNet에서 동일한 훈련 파이프라인을 기반으로 QAT, PTQ, PACT, DoReFa-Net, LSQ, APoT, QIL 등의 다양한 양자화 기법을 평가한다.
• 하드웨어 인지 수정 사항을 포함한다: 배치 정규화 폴딩, 전체 그래프 양자화, 병합 연산에서의 공유 양자화 파라미터.
• 대상 하드웨어 호환성을 위해 대상 텐서 및 채널 기반 양자화를 대비하여 대칭 및 비대칭 범위를 적용하고 활성화 범위를 조정한다(예: [0,1]에서 [-1,1]로).
• 프레임워크는 CPU, GPU, ASIC, DSP의 다섯 가지 배포 플랫폼을 지원하며, 실제 추론 조건을 반영하기 위해 전체 그래프 수준의 양자화를 구현한다.
• QIL과 같은 불안정한 방법의 경우 수렴을 향상시키기 위해 기울기 스케일링을 조정하고, 여러 하드웨어 환경에서 결과를 검증한다.

실험 결과

연구 질문

• RQ1 표준화된 훈련 파이프라인은 최신 양자화 알고리즘 간 성능 비교에 어떤 영향을 미치는가?
• RQ2 학술적 양자화 결과와 실제 하드웨어 배포 성능 사이의 성능 격차는 무엇인가?
• RQ3 통합된 훈련 조건에서는 유사한 성능를 내지만, 왜 기존 양자화 알고리즘이 일관된 훈련 조건에서도 다양한 하드웨어 플랫폼에서 정확도를 일관되게 유지하지 못하는가?
• RQ4 BN 폴딩 및 그래프 수준의 양자화와 같은 하드웨어 특화 최적화는 양자화 모델의 최종 정확도에 어떤 영향을 미치는가?
• RQ5 어떤 단일 양자화 알고리즘도 모든 재현 가능하고 구현 가능한 벤치마크에서 다른 알고리즘을 일관되게 능가하는가?

주요 결과

• 통합된 훈련 설정 하에서 기존 양자화 알고리즘은 표준 학술 기준 평가에서 유사한 성능를 보이며, 성능 격차는 주로 훈련 파이프라인의 차이에서 기인하고 알고리즘의 우월성 때문이 아님을 시사한다.
• 하드웨어에 구현 가능한 설정에서는 여전히 심각한 정확도 격차가 존재하며, 어떤 알고리즘도 모든 플랫폼에서 일관되게 뛰어나지 않음을 확인하여 구현 가능성에 대한 해결되지 않은 과제가 있음을 시사한다.
• 비대칭 범위와 적절한 클리핑(예: [-1,1])을 적용한 채널 기반 양자화는 난이도 높은 구현 방식보다 하드웨어 플랫폼에서 성능을 크게 향상시킨다.
• 대상 텐서 기반 양자화를 위한 설계된 알고리즘은 채널 기반 설정에 적용될 경우 자주 실패함을 확인하여, 다양한 양자화기 유형에 대한 강건성의 필요성을 강조한다.
• QIL 방법은 재현 과정에서 불안정하여 표준 훈련 설정에서 조차 수렴하지 못했으며, 기울기 스케일링을 조정한 후에도 마찬가지였으며, 이는 훈련 역학에 잠재적인 문제를 암시한다.
• BN 폴딩 및 병합 연산에서의 공유 양자화 파라미터와 같은 하드웨어 특화 최적화는 정확도 유지에 매우 중요하며, 벤치마크에 반드시 포함되어야 한다.