[논문 리뷰] Cheetah: Mixed Low-Precision Hardware & Software Co-Design Framework for DNNs on the Edge.

Hamed F. Langroudi, Zachariah Carmichael외 2명|arXiv (Cornell University)|2019. 08. 06.

Advanced Neural Network Applications참고 문헌 41인용 수 18

한 줄 요약

Cheetah는 고정소수점, 부동소수점, 포지트(posit)를 포함한 저정밀도 형식을 사용하여 딥 뉴럴 네트워크(DNN)의 학습과 추론을 모두 가능하게 하는 혼합 정밀도 하드웨are-소프트웨어 공동 설계 프레임워크이다. 이 프레임워크는 16비트 포지트가 16비트 부동소수점보다 DNN 학습에서 뛰어난 성능을 보이며, 엣지 디바이스에서 5–8비트 포지트가 동등한 고정소수점 또는 부동소수점 형식보다 더 우수한 성능 및 에너지-지연 제품(Energy-Delay-Product) 트레이드오프를 달성함을 입증한다.

ABSTRACT

Low-precision DNNs have been extensively explored in order to reduce the size of DNN models for edge devices. Recently, the posit numerical format has shown promise for DNN data representation and compute with ultra-low precision in [5..8]-bits. However, previous studies were limited to studying posit for DNN inference only. In this paper, we propose the Cheetah framework, which supports both DNN training and inference using posits, as well as other commonly used formats. Additionally, the framework is amenable for different quantization approaches and supports mixed-precision floating point and fixed-point numerical formats. Cheetah is evaluated on three datasets: MNIST, Fashion MNIST, and CIFAR-10. Results indicate that 16-bit posits outperform 16-bit floating point in DNN training. Furthermore, performing inference with [5..8]-bit posits improves the trade-off between performance and energy-delay-product over both [5..8]-bit float and fixed-point.

연구 동기 및 목표

• 포지트와 같은 새로운 수치 형식을 지원하는 저정밀도 DNN 프레임워크에서 학습과 추론을 동시에 지원하는 데에 발생하는 격차를 해소하기 위해.
• 다양한 비트 폭과 양자화 방법을 고려할 때 고정소수점, 부동소수점, 포지트 등의 다양한 수치 형식의 유효성을 평가하기 위해.
• 저정밀도 DNN에서 양자화 방법(반올림 대비 선형)의 정확도와 하드웨어 복잡도에 미치는 영향을 비교하기 위해.
• 엣지 장치에 배포된 DNN의 에너지-지연 제품과 추론 정확도 간의 트레이드오프를 최적화하기 위해.
• 엣지 AI를 위한 수치 형식과 양자화 전략의 체계적 탐색을 가능하게 하는 통합 공동 설계 프레임워크를 제공하기 위해.

제안 방법

• Cheetah는 고정소수점, 부동소수점, 포지트 형식을 사용하는 혼합 정밀도 계산을 지원하기 위해 소프트웨어 프레임워크와 하드웨어 가속기(EMAC)를 통합한다.
• 이 프레임워크는 반올림과 쉬프트 연산을 사용하는 선형 양자화를 포함한 두 가지 양자화 방법을 지원하여 정밀도 제어의 유연성을 확보한다.
• 포지트 형식은 단어 길이(N)와 지수 폭(es)로 파arameter화되며, 평가에 사용된 구성은 <8,1>과 <5,1> 등이다.
• FPGA 기반의 EMAC를 사용하여 28nm 및 14nm 공정 노드를 대상으로 하드웨어의 에너지-지연 제품과 지연 시간을 측정한다.
• 프레임워크는 피드포워드 및 컨볼루션 신경망을 사용하여 MNIST, 패션 MNIST, CIFAR-10 데이터셋에서 DNN을 평가한다.
• 정확도 저하, 에너지-지연 제품, 지연 시간을 측정하여 수치 형식과 양자화 방법 간의 비교 분석을 수행한다.

실험 결과

연구 질문

• RQ1 포지트 수치 형식은 16비트 부동소수점보다 DNN 학습 성능을 더 뛰어나게 하는가?
• RQ2 5–8비트 추론에서 포지트는 5–8비트 고정소수점 및 부동소수점 형식보다 우수한 성능과 에너지-지연 제품 트레이드오프를 달성할 수 있는가?
• RQ3 다른 양자화 방법(반올림 대비 선형)은 수치 형식에 따라 정확도와 하드웨어 복잡도에 어떤 영향을 미치는가?
• RQ4 정확도를 유지하면서 에너지-지연 제품을 최소화하기 위한 최적의 포지트 구성(예: <8,1> 대비 <8,0>)은 무엇인가?
• RQ5 다양한 데이터셋과 DNN 아키텍처에서 혼합 정밀도 형식을 사용할 경우 일관된 이점이 있는가?

주요 결과

• 16비트 포지트는 DNN 학습에서 16비트 부동소수점보다 뛰어나며, 이는 포지트가 저정밀도 학습에 실현 가능함을 시사한다.
• 5–8비트 추론에서 es = 1인 포지트는 es = 2보다 평균 정확도가 2% 높고, es = 0보다 4% 높다.
• es = 1인 포지트는 es = 2 대비 에너지-지연 제품을 2.1배 감소시키며, es = 0 대비 1.4배 더 감소시킨다.
• es = 0인 포지트를 사용한 선형 양자화는 es = 1과 유사한 정확도를 달성하지만, 에너지-지연 제품을 18% 감소시킨다.
• 모든 데이터셋에서 가장 낮은 정확도 저하가 포지트 <8,1> 및 <5,1> 형식에서 관찰되었으며, 이는 동등한 고정소수점 및 부동소수점 구성보다 뛰어난 성능을 보였다.
• Cheetah는 es = 1인 포지트의 경우 에너지-지연 제품을 es = 2 대비 1.4배 향상시키며, es = 0 대비 2.1배 감소시켰다.