[논문 리뷰] Mixed Low-precision Deep Learning Inference using Dynamic Fixed Point

Naveen Mellempudi, Abhisek Kundu외 3명|arXiv (Cornell University)|2017. 01. 31.

Advanced Neural Network Applications참고 문헌 12인용 수 23

한 줄 요약

이 논문은 최소한의 정확도 손실로 사전 훈련된 정밀도가 높은 딥러닝 모델을 저정밀도 추론으로 변환하는 클러스터 기반 양자화 방법을 제안한다. 동일한 스케일링 인자를 공유하는 클러스터로 필터를 그룹화함으로써 효율적인 8비트 정수 추론을 가능하게 하며, 8비트 정수 연산을 사용하여 ImageNet에서 71.8%의 Top-1 정확도를 달성한다(전체 정밀도 기준 6% 이내), 4비트 가중치를 사용할 경우 76.3%의 정확도를 기록한다. 또한 곱셈 연산의 약 85%만을 사용하면서도 16배의 성능 향상을 달성한다.

ABSTRACT

We propose a cluster-based quantization method to convert pre-trained full precision weights into ternary weights with minimal impact on the accuracy. In addition, we also constrain the activations to 8-bits thus enabling sub 8-bit full integer inference pipeline. Our method uses smaller clusters of N filters with a common scaling factor to minimize the quantization loss, while also maximizing the number of ternary operations. We show that with a cluster size of N=4 on Resnet-101, can achieve 71.8% TOP-1 accuracy, within 6% of the best full precision results while replacing ~85% of all multiplications with 8-bit accumulations. Using the same method with 4-bit weights achieves 76.3% TOP-1 accuracy which within 2% of the full precision result. We also study the impact of the size of the cluster on both performance and accuracy, larger cluster sizes N=64 can replace ~98% of the multiplications with ternary operations but introduces significant drop in accuracy which necessitates fine tuning the parameters with retraining the network at lower precision. To address this we have also trained low-precision Resnet-50 with 8-bit activations and ternary weights by pre-initializing the network with full precision weights and achieve 68.9% TOP-1 accuracy within 4 additional epochs. Our final quantized model can run on a full 8-bit compute pipeline, with a potential 16x improvement in performance compared to baseline full-precision models.

연구 동기 및 목표

• 딥러닝 추론의 계산 비용을 현저히 감소시키되 정확도 손실을 최소화하는 것.
• 혼합 저정밀도 계산을 활용하여 전체 8비트 정수 추론 파이프라인을 가능하게 하는 것.
• 동적 고정점 클러스터링을 통해 가중치 및 활성화 표현의 양자화 오차를 최소화하는 것.
• 저정밀도 추론에서 클러스터 크기, 성능, 정확도 간의 상호 상충 관계를 탐색하는 것.
• 사전 훈련된 모델의 재훈련이 최소한 또는 전혀 필요 없이 높은 정확도를 달성하는 것.

제안 방법

• 크기 N인 클러스터로 필터를 그룹화하고, 각 클러스터에 공통된 스케일링 인자를 적용하여 양자화 오차를 감소시키는 것.
• 동적 고정점 표현을 사용하여 가중치를 삼항 또는 4비트 값으로 양자화하면서 활성화는 8비트 고정점으로 제약하는 것.
• 동일한 출력 특징 맵에 기여하는 필터를 정적 클러스터링하여 컬러레이션 연산을 단순화하는 것.
• 클러스터 내에서 8비트 곱셈을 8비트 누적 연산으로 대체하여 계산 복잡도를 감소시키는 것.
• 학습률 1e-4를 사용하여 저정밀도 가중치와 8비트 활성화를 활용해 사전 훈련된 정밀도가 높은 모델을 미세조정하는 것.
• 정밀도가 높은 가중치로 저정밀도 네트워크를 초기화하고 배치 정규화를 적용하여 훈련을 안정화시키는 것.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 네트워크를 8비트 이하의 정밀도로 양자화할 수 있으며, 정확도 손실이 최소한인가?
• RQ2 클러스터 크기가 계산 효율성과 모델 정확도 사이의 상호 상충 관계에 미치는 영향은 무엇인가?
• RQ3 재훈련 없이도 저정밀도 추론에서 최상위 성능에 가까운 정확도를 달성할 수 있는가?
• RQ4 동적 고정점 클러스터링이 저정밀도 추론에서의 양자화 오차에 미치는 영향은 무엇인가?
• RQ5 최소한의 성능 저하로 전체 8비트 정수 추론 파이프라인을 달성할 수 있는가?

주요 결과

• ResNet-101에서 클러스터 크기 N=4를 사용할 경우, 삼항 가중치를 사용해 71.8%의 Top-1 정확도를 달성하였으며, 전체 정밀도 기준 6% 이내의 성능이다.
• 동일한 클러스터 크기로 4비트 가중치를 사용할 경우, 76.3%의 Top-1 정확도를 기록하였으며, 전체 정밀도 결과와 2% 이내의 성능이다.
• N=64일 경우 약 98%의 곱셈 연산이 8비트 누적 연산으로 대체되었지만, 정확도가 크게 떨어져 재훈련이 필요했다.
• 8비트 활성화와 2비트 가중치를 사용해 사전 초기화된 저정밀도 ResNet-50을 단 4 에포크 동안 미세조정하면 68.9%의 Top-1 정확도를 달성한다.
• 이 방법은 전체 8비트 정수 추론 파이프라인을 가능하게 하며, 성능과 에너지 효율성에서 잠재적으로 16배 향상된 결과를 낳는다.
• 작은 클러스터(N=4)는 정확도를 최대화하지만, 큰 클러스터(N=64)는 일반 목적 하드웨어에서 성능을 우선시하며 정확도를 희생한다.