[논문 리뷰] Efficient Bitwidth Search for Practical Mixed Precision Neural Network

Yuhang Li, Wei Wang외 4명|arXiv (Cornell University)|2020. 03. 17.

Advanced Neural Network Applications참고 문헌 33인용 수 14

한 줄 요약

이 논문은 신경망에서 효율적이고 실용적인 혼합 정밀도 양자화를 가능하게 하기 위해 효율적 비트폭 탐색(EBS)과 이진 분해(BD)를 제안한다. EBS는 O(1)의 메모리와 계산량을 유지하면서도 공유된 메타-웨이트 텐서와 미분 가능한 소프트 라우팅을 사용하여 층 간의 비트폭을 동시에 최적화한다. 반면 BD는 표준 하드웨어에서 효율적인 혼합 정밀도 컨볼루션을 가능하게 한다. 이 방법은 ImageNet에서 3.26배의 FLOPs 감소를 이끌어내며 최신 기준 성능을 달성했으며, 균일 정밀도 기반 모델과 이전의 혼합 정밀도 접근 방식을 능가한다.

ABSTRACT

Network quantization has rapidly become one of the most widely used methods to compress and accelerate deep neural networks. Recent efforts propose to quantize weights and activations from different layers with different precision to improve the overall performance. However, it is challenging to find the optimal bitwidth (i.e., precision) for weights and activations of each layer efficiently. Meanwhile, it is yet unclear how to perform convolution for weights and activations of different precision efficiently on generic hardware platforms. To resolve these two issues, in this paper, we first propose an Efficient Bitwidth Search (EBS) algorithm, which reuses the meta weights for different quantization bitwidth and thus the strength for each candidate precision can be optimized directly w.r.t the objective without superfluous copies, reducing both the memory and computational cost significantly. Second, we propose a binary decomposition algorithm that converts weights and activations of different precision into binary matrices to make the mixed precision convolution efficient and practical. Experiment results on CIFAR10 and ImageNet datasets demonstrate our mixed precision QNN outperforms the handcrafted uniform bitwidth counterparts and other mixed precision techniques.

연구 동기 및 목표

• 기존의 기울기 기반 혼합 정밀도 비트폭 탐색 방법의 높은 계산 및 메모리 비용을 해결하기 위해.
• 원래로 정밀도 운영을 지원하지 않는 일반적인 하드웨어 플랫폼에서도 효율적인 혼합 정밀도 컨볼루션을 가능하게 하기 위해.
• 정확도를 극대화하고 FLOPs를 최소화하는 데 최적화된, 층별로 다른 비트폭을 자동으로 발견하기 위해.
• 성능을 저하시키지 않은 채 혼합 정밀도 양자화의 탐색 비용을 근사 균일 정밀도 수준으로 낮추기 위해.

제안 방법

• EBS는 모든 후보 비트폭에 걸쳐 단일 메타-웨이트 텐서를 재사용함으로써, 각 비트폭에 대해 별도의 가중치를 유지하는 것과 비교해 메모리 비용을 O(N)에서 O(1)로 감소시킨다.
• 학습 중에 각 층의 가장 효과적인 비트폭을 동적으로 선택하기 위해 소프트맥스를 사용하는 미분 가능한 소프트 라우팅 메커니즘을 도입한다.
• 각 비트폭 쌍에 대해 별도의 컨볼루션을 수행하는 대신, 모든 비트폭에 걸친 양자화된 가중치와 활성화의 가중 평균을 계산함으로써 계산량을 O(N²)에서 O(1)로 감소시킨다.
• 비트폭 선택을 미분 가능한 탐색 문제로 공식화하여 기울기 하강법을 통한 엔드 투 엔드 최적화를 가능하게 한다.
• 이진 분해(BD)는 혼합 정밀도 텐서를 이진 행렬과 스칼라 계수로 분해함으로써, 표준 하드웨어에서 효율적인 혼합 정밀도 컨볼루션을 가능하게 한다.
• BD는 전용 하드웨어가 필요 없이도 네이티브 이진 및 저정밀도 명령어(예: INT4, INT8)를 활용해 추론를 가속화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기울기 기반 비트폭 탐색의 메모리 및 계산 비용을 근사 균일 정밀도 수준으로 낮출 수 있는가?
• RQ2 일반적인 하드웨어 플랫폼에서 서로 다른 비트폭을 가진 가중치와 활성화 간의 컨볼루션을 효율적으로 수행할 수 있는가?
• RQ3 미분 가능하고 파rameter 효율적인 탐색 방법이 수작업 또는 규칙 기반 방법보다 더 나은 비트폭 할당을 발견할 수 있는가?
• RQ4 제안된 방법은 기존의 균일 정밀도 및 혼합 정밀도 기반 모델보다 더 높은 정확도 또는 더 높은 FLOPs 효율성을 달성하는가?

주요 결과

• EBS-Det는 558M FLOPs로 ImageNet에서 71.1%의 top-1 정확도를 달성했으며, 전체 정밀도 ResNet-18(70.4%)을 뛰어넘고, 최신 5비트 PACT 모델보다 1.8% 높은 정확도를 기록하면서도 FLOPs가 더 낮았다.
• EBS-Sto는 564M FLOPs로 70.0%의 top-1 정확도를 달성했으며, 5비트 및 4비트 균일 정밀도 기반 모델과 동등하거나 이를 초월했고, FLOPs를 최대 3.26배 감소시켰다.
• DNAS에 비해 GPU 메모리 사용량을 90% 이상 감소시키고, 학습 시간도 50% 이상 단축시켰으며, OOM로 인해 DNAS가 실패하는 배치 크기 128에서도 탐색을 수행할 수 있도록 했다.
• 이 방법은 비균일한 비트폭 분포를 발견했다—대부분의 가중치는 1비트이지만 활성화는 일반적으로 3~4비트로, 활성화에는 더 높은 정밀도가 필요함을 확인했다.
• 라벨 리파이닝 강화 기법을 적용한 EBS-Det는 오직 369M FLOPs로 70.3%의 top-1 정확도를 달성했으며, DNAS를 1.6% 뛰어넘고 FLOPs는 4.93배 적게 사용했다.
• 이진 분해는 네이티브 저정밀도 명령어를 활용함으로써 표준 하드웨어에서 효율적인 혼합 정밀도 추론을 가능하게 하여, 이 방법을 구현에 실용적으로 만들었다.