[논문 리뷰] OMPQ: Orthogonal Mixed Precision Quantization

Yuexiao Ma, Taisong Jin외 7명|arXiv (Cornell University)|2021. 09. 16.

Advanced Neural Network Applications참고 문헌 39인용 수 8

한 줄 요약

OMPQ는 선형 프로그래밍을 통해 신경망 레이어의 최적 비트 폭을 효율적으로 결정하기 위해 학습된 직교성 메트릭(ORM)을 사용하는 혁신적인 혼합 정밀도 양자화 방법을 제안한다. 이로 인해 반복적 검색 없이도 최신 기술 수준의 정확도를 달성하며, 검색 비용이 극도로 낮아진다—6.7MB의 크기와 반복적 검색 없이 ResNet-18에서 72.08%의 Top-1 정확도를 달성한다.

ABSTRACT

To bridge the ever increasing gap between deep neural networks' complexity and hardware capability, network quantization has attracted more and more research attention. The latest trend of mixed precision quantization takes advantage of hardware's multiple bit-width arithmetic operations to unleash the full potential of network quantization. However, this also results in a difficult integer programming formulation, and forces most existing approaches to use an extremely time-consuming search process even with various relaxations. Instead of solving a problem of the original integer programming, we propose to optimize a proxy metric, the concept of network orthogonality, which is highly correlated with the loss of the integer programming but also easy to optimize with linear programming. This approach reduces the search time and required data amount by orders of magnitude, with little compromise on quantization accuracy. Specifically, we achieve 72.08% Top-1 accuracy on ResNet-18 with 6.7Mb, which does not require any searching iterations. Given the high efficiency and low data dependency of our algorithm, we used it for the post-training quantization, which achieve 71.27% Top-1 accuracy on MobileNetV2 with only 1.5Mb. Our code is available at https://github.com/MAC-AutoML/OMPQ.

연구 동기 및 목표

• 반복적 검색 또는 이완 기법에 의존하는 기존 혼합 정밀도 양자화 방법의 높은 계산 비용과 데이터 비용을 해결한다.
• 모델 정확도를 훼손하지 않으면서 비트 폭 설정에 필요한 시간과 데이터 요구량을 줄인다.
• 양자화 정확도를 효율적으로 계산할 수 있고 모델 성능과 높은 상관관계를 가지는 대체 메트릭을 개발한다.
• 대규모 데이터와 보정 학습에 대한 의존도를 최소화하여 효율적인 사후 양자화를 가능하게 한다.
• 기존의 양자화 기법들—양자화 인식 학습과 사후 양자화를 포함하여—와 원활하게 통합될 수 있는 프레임워크를 수립한다.

제안 방법

• 깊이 신경망에 함수의 직교성 개념을 일반화하여 새로운 직교성 메트릭(ORM)을 도입하며, 몬테카를로 샘플링과 코시-슈바르츠 부등식을 활용해 레이어 단위의 직교성을 측정한다.
• 압축 및 하드웨어 제약 조건 하에서 모델의 직교성을 최대화하는 선형 프로그래밍 최적화 문제로 비트 폭 할당 문제를 수식화한다.
• 직교성 계산을 가속화하기 위해 ORM의 등가이자 계산 효율성이 높은 형태를 유도한다. 이를 통해 단일 패assing 평가가 가능해진다.
• ORM과 양자화 정확도, 비트 폭 간의 강한 정적 상관관계를 활용해 최적의 비트 폭 할당을 유도한다.
• 기존의 비용이 많이 드는 검색 기법(예: 유전적 알고리즘 또는 강화 학습)을 대체하기 위해 OMPQ를 양자화 인식 학습 및 사후 양자화(PTQ) 파이프라인에 통합한다.
• 정확도와 압축 간의 트레이드오프를 모델링하기 위해 단조 감소 함수(예: $ e^{-x} $)를 사용하여 안정적인 최적화를 보장한다.

실험 결과

연구 질문

• RQ1 신경망의 직교성에 기반한 대체 메트릭이 혼합 정밀도 양자화에서 반복적 또는 이완 기반 검색을 효과적으로 대체할 수 있는가?
• RQ2 제안된 직교성 메트릭(ORM)은 실제 양자화 모델의 정확도와 비트 폭 할당과 얼마나 높은 상관관계를 가지는가?
• RQ3 HAWQ, FracBits, 또는 BRECQ와 같은 기존 방법에 비해 OMPQ는 비트 구성에 필요한 데이터와 계산 요구량을 얼마나 줄일 수 있는가?
• RQ4 OMPQ는 최소한의 데이터와 보정 학습 없이도 사후 양자화에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 ORM에 기반한 비트 폭 할당의 선형 프로그래밍 공식화가 다양한 아키텍처에서 최적 또는 근사 최적의 구성(configuration)을 도출할 수 있는가?

주요 결과

• OMPQ는 반복적 검색 없이도 ResNet-18에서 6.7MB의 모델 크기와 75 BOPs로 72.08%의 Top-1 정확도를 달성하며, HAWQ-V3를 1.86% 초월한다.
• ResNet-50에서 OMPQ는 18.7MB와 156 BOPs로 76.28%의 Top-1 정확도를 기록하며, 유사한 모델 크기에서 HAWQ-V3를 0.89% 초월한다.
• 사후 양자화에서 OMPQ는 MobileNetV2에서 단지 1.5MB의 모델 크기로 71.27%의 Top-1 정확도를 달성하며, 동일한 모델 크기 제약 조건 하에서 BRECQ를 0.52% 초월한다.
• OMPQ는 검색 비용을 수개월 단위로 줄였으며, 소규모 데이터 세트에서 단일 패assing 평가만으로도 구현 가능해지며, 기존의 유전적 알고리즘 또는 강화 학습 기반 방법에 비해 근본적으로 효율성이 높아진다.
• ORM 메트릭은 양자화 정확도와 비트 폭 모두와 강한 정적 상관관계를 보이며, 최적화를 위한 신뢰할 수 있는 대체 메트릭으로서의 유효성을 입증한다.
• OMPQ의 효율성 덕분에 데이터 접근이 제한된 실용적 환경에서도 적용 가능해지며, 특히 데이터가 제한된 환경에서의 실용적 구현에 적합하다.