[논문 리뷰] GOBO: Quantizing Attention-Based NLP Models for Low Latency and Energy Efficient Inference

Ali Hadi Zadeh, Isak Edo외 2명|arXiv (Cornell University)|2020. 05. 07.

Topic Modeling참고 문헌 50인용 수 157

한 줄 요약

GOBO는 BERT와 같은 어텐션 기반 NLP 모델의 32비트 부동소수점 파라미터 중 99.9%를 새로운 중심점 선택 알고리즘을 사용해 단 3비트로 압축하는 후기 훈련 양자화 기법으로, 미세조정 없이도 정확도를 유지한다. 이는 모델 크기를 10배 감소시키고 하드웨어 가속기에서 오프칩 메모리 트래픽을 줄이며, 계산 중에도 가중치를 양자화된 상태로 유지함으로써 최대 7배의 속도 향상과 3배의 에너지 소비 감소를 가능하게 한다.

ABSTRACT

Attention-based models have demonstrated remarkable success in various natural language understanding tasks. However, efficient execution remains a challenge for these models which are memory-bound due to their massive number of parameters. We present GOBO, a model quantization technique that compresses the vast majority (typically 99.9%) of the 32-bit floating-point parameters of state-of-the-art BERT models and their variants to 3 bits while maintaining their accuracy. Unlike other quantization methods, GOBO does not require fine-tuning nor retraining to compensate for the quantization error. We present two practical hardware applications of GOBO. In the first GOBO reduces memory storage and traffic and as a result inference latency and energy consumption. This GOBO memory compression mechanism is plug-in compatible with many architectures; we demonstrate it with the TPU, Eyeriss, and an architecture using Tensor Cores-like units. Second, we present a co-designed hardware architecture that also reduces computation. Uniquely, the GOBO architecture maintains most of the weights in 3b even during computation, a property that: (1) makes the processing elements area efficient, allowing us to pack more compute power per unit area, (2) replaces most multiply-accumulations with additions, and (3) reduces the off-chip traffic by amplifying on-chip memory capacity.

연구 동기 및 목표

• 어텐션 기반 NLP 모델인 BERT와 같은 모델이 큰 파라미터 수로 인해 메모리에 종속되어 높은 메모리 및 에너지 비용을 유발하는 문제를 해결하기 위해.
• 양자화 이후에 다시 미세조정이나 재학습이 필요 없이도 모델 정확도를 유지하는 양자화 방법을 개발하기 위해.
• 가중치를 양자화된 상태로 계산 중 유지함으로써 저지연, 저에너지 효율 추론을 가능하게 하며, 압축된 모델 파라미터와 함께 직접적으로 계산을 수행하는 하드웨어 가속기를 공동 설계하기 위해.
• TPU, Eyeriss, Tensor Core 유사 유닛을 포함한 다양한 아키텍처에서 하드웨어 호환성과 성능 향상을 입증하기 위해.
• 계산 중에 3비트 형식의 가중치를 유지함으로써 면적 효율성을 향상시키고 오프칩 트래픽을 줄이며 대부분의 승산-누적 연산을 덧셈으로 대체할 수 있음을 보여주기 위해.

제안 방법

• GOBO는 각 레이어의 99.9% 가중치가 가우시안 분포를 따르는 반면, 0.1%는 이방성(아웃라이어)임을 확인한다.
• 이방성 가중치는 32비트 정밀도 그대로 저장하고, 나머지 가중치는 오직 8개의 대표 값(중심점)으로 구성된 사전을 사용해 압축한다.
• 양자화 오차를 최소화하기 위해 비선형 수렴 특성을 지닌 빠른 수렴 속도의 중심점 선택 알고리즘을 도입한다.
• 계산 중에 양자화된 가중치를 다시 32비트 부동소수점 값으로 확장하지 않아, 3비트 형식으로 그대로 片내 메모리에서 처리할 수 있도록 한다.
• 3비트 가중치를 직접 처리하는 하드웨어 가속기를 공동 설계하여 대부분의 승산-누적 연산을 덧셈으로 대체한다.
• 압축된 가중치를 전체 과정 동안 유지함으로써 온칩 메모리 용량을 증가시키고 오프칩 데이터 이동을 줄인다.

실험 결과

연구 질문

• RQ1 후기 훈련 양자화 방법으로 BERT의 32비트 파라미터 중 99.9%를 미세조정 없이 3비트로 압축하면서도 정확도를 유지할 수 있는가?
• RQ2 계산 중에 가중치를 3비트 형식으로 유지할 경우, 기존 가속기 대비 에너지 효율성과 성능 향상은 어떻게 달라지는가?
• RQ3 오프칩 메모리에 적용했을 때 GOBO 압축이 추론 지연과 에너지 소비에 어떤 영향을 미치는가?
• RQ4 새로운 중심점 선택 알고리즘이 K-Means에 비해 수렴 속도와 정확도에서 어떻게 비교되는가?
• RQ5 공동 설계된 GOBO 기반 하드웨어 가속기가 기존 Tensor Core 유사 아키텍처와 동일한 계산 면적 조건에서 더 높은 성능과 에너지 효율성을 달성할 수 있는가?

주요 결과

• GOBO는 미세조정 없이도 GLUE의 도전적인 MNLI 작업에서 모델 정확도를 유지하면서도 99.9%의 가중치를 3비트로 양자화한다.
• 중심점 선택 알고리즘이 K-Means보다 9배 더 빠르게 수렴하고, 필요한 중심점 수를 절반으로 줄여 압축 효율성을 향상시킨다.
• 오프칩 메모리 압축 덕분에 모델 크기가 10배 감소하여 TPU에서 성능이 10배 향상된다.
• 동일한 계산 면적 조건 하에서 GOBO 가속기는 Tensor Core 유사 가속기 대비 7배 빠르고 에너지 소비는 3배 적게 소모한다.
• FP16 정밀도에서 GOBO는 IBM의 딥러닝 프로세서(DLP) 대비 2.85배 빠르고 에너지 효율은 6.8배 높으며, DLP+에 GOBO 압축을 적용한 경우에도 2.4배 더 효율적이다.
• GOBO 가속기는 오프칩 메모리 트래픽 감소와 온칩 메모리 증폭 덕분에 83%의 PE 활용도를 달성했으며, IBM DLP의 34%에 비해 높은 효율성을 보였다.