[논문 리뷰] Term Revealing: Furthering Quantization at Run Time on Quantized DNNs

H. T. Kung, Bradley McDanel외 1명|arXiv (Cornell University)|2020. 07. 13.

Advanced Neural Network Applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 기존에 양자화된 DNN에서 실행 시간에 동적으로 그룹화된 가중치와 활성화에서 가장 큰 2의 거듭제곱 항만 선택함으로써 계산을 추가로 감소시키는 런타임 양자화 기법 Term Revealing (TR)을 제안한다. HESE 인코딩을 통한 부호 숫자 표현 기반의 그룹 기반 선택을 통해 TR은 기존의 양자화 방식보다 3–10× 낮은 추론 계산량을 달성하면서 모델 정확도를 유지한다. FPGA 구현 결과, 최대 7.8× 낮은 지연 시간과 4.3× 높은 에너지 효율성을 입증하였다.

ABSTRACT

We present a novel technique, called Term Revealing (TR), for furthering quantization at run time for improved performance of Deep Neural Networks (DNNs) already quantized with conventional quantization methods. TR operates on power-of-two terms in binary expressions of values. In computing a dot-product computation, TR dynamically selects a fixed number of largest terms to use from the values of the two vectors in the dot product. By exploiting normal-like weight and data distributions typically present in DNNs, TR has a minimal impact on DNN model performance (i.e., accuracy or perplexity). We use TR to facilitate tightly synchronized processor arrays, such as systolic arrays, for efficient parallel processing. We show an FPGA implementation that can use a small number of control bits to switch between conventional quantization and TR-enabled quantization with a negligible delay. To enhance TR efficiency further, we use a signed digit representation (SDR), as opposed to classic binary encoding with only nonnegative power-of-two terms. To perform conversion from binary to SDR, we develop an efficient encoding method called HESE (Hybrid Encoding for Signed Expressions) that can be performed in one pass looking at only two bits at a time. We evaluate TR with HESE encoded values on an MLP for MNIST, multiple CNNs for ImageNet, and an LSTM for Wikitext-2, and show significant reductions in inference computations (between 3-10x) compared to conventional quantization for the same level of model performance.

연구 동기 및 목표

• 기존의 일반적인 방법으로 양자화된 DNN에서 정확도 손실 없이 추가적인 계산 감소를 가능하게 하기 위해.
• 기존의 양자화 방식이 재학습 없이 또는 상당한 정확도 손실 없이 더 이상 감소시킬 수 없는 한계를 해결하기 위해.
• 최소한의 제어 오버헤드로 일반 양자화와 런타임 TR 양자화를 모두 지원하는 재구성 가능한 하드웨어 시스템을 설계하기 위해.
• 계산 절감을 위해 값 표현에서 항의 수를 최소화하는 효율적인 부호 숫자 표현(SDR) 인코딩 방법을 개발하기 위해.

제안 방법

• TR은 양자화된 가중치와 활성화의 2의 거듭제곱 항을 기반으로 하는 이진수 또는 부호 숫자 표현에서, 그룹 내에서 가장 큰 항들만 선택한다.
• TR은 고정된 수의 상위 항(그룹 예산 $k$)을 $g$개의 값으로 이루어진 그룹에서 선택하는 그룹 기반 접근 방식을 사용하여, 내적 계산을 위한 항 쌍 곱셈의 수를 줄인다.
• HESE(Hybrid Encoding for Signed Expressions) 방법은 표준 이진 표현을 단일 패assing으로 최소 길이의 부호 숫자 표현(SDR)으로 변환하며, 매번 두 비트만 검사한다.
• tMAC(term MAC) 하드웨어 설계는 저면적과 높은 규칙성을 확보하기 위해 비트-직렬 계수 누적 방식을 사용하는 시스톨릭 어레이 아키텍처를 제안한다.
• FPGA 시스템은 소수의 제어 비트만으로 일반 양자화와 TR 기반 양자화 간 런타임 재구성을 지원하여, 거의 영향을 주지 않는 지연 시간으로 동적 전환을 가능하게 한다.
• 이 방법은 DNN 가중치와 활성화의 정규 분포 유사성을 활용하여, 강력한 항 제거 조차도 최소한의 정확도 손실을 유발한다.

실험 결과

연구 질문

• RQ1 기존에 양자화된 DNN에서 정확도 손실 없이 실행 시간에 추가적인 양자화를 수행할 수 있는가?
• RQ2 그룹 기반 항 선택은 정확도를 유지하면서 DNN 추론의 계산 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 최소 항 수를 가진 부호 숫자 표현(SDR)을 사용할 경우 추론 계산량과 하드웨어 효율성에 어떤 영향을 미치는가?
• RQ4 다양한 DNN 아키텍처에서 기존 양자화 방식에 비해 TR이 계산 비용(예: 항 쌍 곱셈)을 얼마나 줄일 수 있는가?
• RQ5 단일 FPGA 하드웨어 설계가 최소한의 재구성 오버헤드로 일반 양자화와 TR 기반 양자화를 효율적으로 지원할 수 있는가?

주요 결과

• TR은 MLP, CNN, LSTM 모두에서 동일한 모델 정확도를 유지하면서 기존 양자화 방식 대비 추론 계산량을 3–10× 감소시킨다.
• FPGA 구현 결과, 동일한 하드웨어에서 기존 양자화(QT) 대비 평균 처리 지연 시간이 7.8× 낮고 에너지 효율성이 4.3× 높다.
• ImageNet에서 ResNet-18에 대해 TR 시스템은 69.48%의 top-1 정확도, 25.22 frames/J의 에너지 효율성, 7.21ms의 지연 시간을 달성하여 다른 FPGA 기반 가속기보다 정확도와 효율성 면에서 뛰어나다.
• 그룹 크기 $g=8$와 모델에 맞게 조정된 그룹 예산 $k$(예: LSTM에 대해 $k=20$, VGG-16에 대해 $k=8$)를 사용할 경우, TR은 QT 설정과 0.15% 이내의 정확도 손실로 성능을 유지한다.
• HESE 인코딩은 한 번의 패assing과 두 비트의 앞선 검사를 통해 최소 길이의 SDR를 생성하여 값 표현에서 항의 수를 줄이고, 결과적으로 계산 비용을 낮춘다.
• 재구성 가능한 FPGA 시스템은 일반 양자화와 TR 기반 양자화 간 전환에 소수의 제어 비트만으로도 가능하게 하여 효율적인 런타임 적응을 가능하게 한다.