[논문 리뷰] EMQ: Evolving Training-free Proxies for Automated Mixed Precision Quantization

Peijie Dong, Lujun Li외 4명|arXiv (Cornell University)|2023. 07. 20.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

EMQ는 전문가의 조정 없이 훈련 비용이 들지 않는 프록시를 자동으로 발견하기 위해 진화 기반 프레임워크를 제안한다. 기초 연산으로부터 계산 그래프를 진화시키고, 새로운 벤치마크(MQ-Bench-101)에서 스피어만 상관계수를 최적화함으로써, ImageNet 모델에서 상당한 검색 비용 절감으로 함께 최첨단 정확도를 달성한다.

ABSTRACT

Mixed-Precision Quantization~(MQ) can achieve a competitive accuracy-complexity trade-off for models. Conventional training-based search methods require time-consuming candidate training to search optimized per-layer bit-width configurations in MQ. Recently, some training-free approaches have presented various MQ proxies and significantly improve search efficiency. However, the correlation between these proxies and quantization accuracy is poorly understood. To address the gap, we first build the MQ-Bench-101, which involves different bit configurations and quantization results. Then, we observe that the existing training-free proxies perform weak correlations on the MQ-Bench-101. To efficiently seek superior proxies, we develop an automatic search of proxies framework for MQ via evolving algorithms. In particular, we devise an elaborate search space involving the existing proxies and perform an evolution search to discover the best correlated MQ proxy. We proposed a diversity-prompting selection strategy and compatibility screening protocol to avoid premature convergence and improve search efficiency. In this way, our Evolving proxies for Mixed-precision Quantization~(EMQ) framework allows the auto-generation of proxies without heavy tuning and expert knowledge. Extensive experiments on ImageNet with various ResNet and MobileNet families demonstrate that our EMQ obtains superior performance than state-of-the-art mixed-precision methods at a significantly reduced cost. The code will be released.

연구 동기 및 목표

• 혼합 정밀도 양자화에서 기존의 훈련 비용이 들지 않는 프록시와 실제 양자화 정확도 사이의 상관관계 분석 부족 문제를 해결하기 위해.
• 전문 지식이나 광범위한 초모수 조정 없이도 고성능 프록시를 자동으로 탐색하기 위해.
• 새로운 선택 및 선별 전략을 통해 진화 과정에서의 조기 수렴을 방지하고 검색 효율을 향상시키기 위해.
• 다양한 비트 구성에서 프록시 예측 능력을 평가하기 위한 벤치마크(MQ-Bench-101)를 구축하기 위해.

제안 방법

• 활성화, 기울기, 가중치 및 헤시안 통계에 적용되는 단항 및 이항 연산으로 구성된 계산 그래프의 포괄적인 검색 공간을 설계한다.
• 프록시 탐색을 진화 최적화 문제로 공식화하며, 상위 k개의 구성에서의 스피어만 상관계수를 적합도 함수로 사용하여 상위 성능을 보이는 비트 구성의 순위 일致성을 우선시한다.
• 진화 과정 중에 인구 집단의 다양성을 유지하고 조기 수렴을 방지하기 위해 다양성 유도 선택 전략을 도입한다.
• 잘못된 또는 차원 불일치가 발생하는 연산을 걸러내기 위해 호환성 스크리닝 프로토콜을 적용하여 검색 효율을 향상시킨다.
• 101개의 다양한 비트 구성과 훈련 후 양자화 결과를 포함하는 MQ-Bench-101 벤치마크를 구축한다.
• MQ-Bench-101에서 후보 계산 그래프를 반복적으로 선택, 변형 및 평가하는 인구 기반 알고리즘을 사용해 프록시를 진화시킨다.

Figure 1: Illustration of the search space for EMQ. Our proposed search space encompasses the handcrafted proxies in mixed-precision quantization, whose input sources are activation(A), gradient (G), weight(W), Hessian(H), as well as their combinations (e.g., $G\times W$ ). The proposed search space

실험 결과

연구 질문

• RQ1 다양한 비트 구성에서 기존의 훈련 비용이 들지 않는 프록시가 실제 양자화 정확도와 얼마나 잘 상관되는가?
• RQ2 인간이 설계한 히우리스틱이나 광범위한 조정 없이도 자동으로 우수한 프록시를 탐색할 수 있는가?
• RQ3 검색 공간과 적합도 함수의 어떤 설계 선택이 프록시 탐색의 품질과 효율성에 가장 큰 영향을 미치는가?
• RQ4 정확도와 검색 비용 측면에서 제안된 프레임워크는 최첨단 혼합 정밀도 양자화 방법과 어떻게 비교되는가?

주요 결과

• EMQ는 MQ-Bench-101에서 가장 높은 스피어만 상관계수(0.6030)와 피어슨 상관계수(0.8084)를 기록하며, HAWQ 및 QE와 같은 기존 프록시를 능가한다.
• ImageNet에서 EMQ는 MUXNet-xs에서 모델 크기 0.88MB로 69.54%의 상위-1 정확도를 달성하여 이전 방법보다 정확도-복잡도 트레이드오프 측면에서 뛰어난 성능을 보였다.
• 훈련 기반 방법과 비교해 검색 비용을 크게 절감하여 GPU 수일 분의 훈련 없이도 효율적인 프록시 탐색이 가능해졌다.
• EMQ를 사용한 아키텍처와 비트 폭 동시 탐색은 ResNet, MobileNet 및 커스텀 모델을 포함한 다양한 아키텍처에서 성능 향상을 이끌어냈다.
• 다양성 유도 선택 및 호환성 스크리닝 전략은 조기 수렴을 효과적으로 방지하고 검색 효율을 향상시켰다.
• 실증 분석을 통해 상위 구성의 순위 일치성이 전체 순위 일치성보다 더 중요하다는 것이 확인되었으며, 이는 스피어만@topk를 적합도 지표로 사용하는 것이 타당하다는 것을 검증한다.

Figure 2: Overview of the Evolving training-free proxies for Mixed-precision Quantization (EMQ) framework. The framework involves four main steps: sampling a population of $|\mathcal{P}|$ candidate proxies from the EMQ search space using operation sampling prioritization (Step 1); generating parent