[논문 리뷰] ExPAN(N)D: Exploring Posits for Efficient Artificial Neural Network Design in FPGA-Based Systems

Suresh Nambi, Salim Ullah외 4명|arXiv (Cornell University)|2020. 10. 24.

Numerical Methods and Algorithms참고 문헌 37인용 수 4

한 줄 요약

이 논문은 FPGA 기반 AI 추론을 위한 효율적인 구현을 위해 정수형 수치 표현 방식인 포지트(posit)와 고정소수점 산술을 융합한 ExPAN(N)D 프레임워크를 제안한다. 새로운 포지트-고정소수점 변환기와 수정된 매개변수 저장 방식을 도입하여, 8비트 고정소수점 대비 약 46% 더 작은 모델 저장 용량과 약 18% 더 낮은 MAC 에너지 소비를 달성하면서 정확도 손실는 최소한으로 유지한다.

ABSTRACT

The recent advances in machine learning, in general, and Artificial Neural Networks (ANN), in particular, has made smart embedded systems an attractive option for a larger number of application areas. However, the high computational complexity, memory footprints, and energy requirements of machine learning models hinder their deployment on resource-constrained embedded systems. Most state-of-the-art works have considered this problem by proposing various low bit-width data representation schemes, optimized arithmetic operators' implementations, and different complexity reduction techniques such as network pruning. To further elevate the implementation gains offered by these individual techniques, there is a need to cross-examine and combine these techniques' unique features. This paper presents ExPAN(N)D, a framework to analyze and ingather the efficacy of the Posit number representation scheme and the efficiency of fixed-point arithmetic implementations for ANNs. The Posit scheme offers a better dynamic range and higher precision for various applications than IEEE $754$ single-precision floating-point format. However, due to the dynamic nature of the various fields of the Posit scheme, the corresponding arithmetic circuits have higher critical path delay and resource requirements than the single-precision-based arithmetic units. Towards this end, we propose a novel Posit to fixed-point converter for enabling high-performance and energy-efficient hardware implementations for ANNs with minimal drop in the output accuracy. We also propose a modified Posit-based representation to store the trained parameters of a network. Compared to an $8$-bit fixed-point-based inference accelerator, our proposed implementation offers $\approx46\%$ and $\approx18\%$ reductions in the storage requirements of the parameters and energy consumption of the MAC units, respectively.

연구 동기 및 목표

• 자원 제약이 있는 임베디드 시스템에 신경망을 구현할 때 발생하는 높은 계산, 메모리 및 에너지 요구량을 해결하기 위해.
• 신경망 추론에서 IEEE 754 단정밀도 부동소수점과 비교하여 포지트 수치 표현 형식의 효능을 평가하기 위해.
• 포지트 산술의 하드웨어 오버헤드를 줄이기 위해 이를 효율적인 FPGA 구현을 위해 고정소수점 표현으로 변환함으로써.
• 모델 매개변수 저장 용량과 MAC 유닛의 에너지 소비를 크게 줄이면서 정확도 저하를 최소화하기 위해.

제안 방법

• 동적 범위를 가진 포지트 표현을 효율적인 고정소수점 산술로 매핑하기 위한 새로운 포지트-고정소수점 변환기를 제안하여 FPGA 배포에 적합한 구현을 가능하게 한다.
• 모델 정확도를 훼손하지 않으면서 메모리 프로필을 줄일 수 있는 수정된 포지트 기반 매개변수 저장 형식을 도입한다.
• 추론 계산에 고정소수점 산술 유닛을 활용하여 포지트의 정밀도 우수성을 살리면서도 높은 면적과 지연 시간을 가지는 포지트 산술 회로를 피한다.
• 변환된 고정소수점 형식을 활용해 MAC 유닛의 하드웨어 파ipeline 및 데이터 경로를 최적화하여 에너지 효율성을 향상시킨다.
• 기준 신경망을 대상으로 성능, 면적, 에너지 효율성 평가를 위해 FPGA 기반 프로토타이핑을 수행한다.
• 네트워크 프루닝과 저정밀도 산술 기법을 포지트 표현과 융합하여 시스템 수준의 효율성 향상을 극대화한다.

실험 결과

연구 질문

• RQ1 8비트 고정소수점 대비 FPGA 기반 신경망에서 포지트 수치 표현 방식이 모델 저장 용량과 에너지 소비를 줄일 수 있는가?
• RQ2 신경망 추론에서 포지트의 동적 범위와 정밀도는 IEEE 754 단정밀도 부동소수점과 비교해 어떻게 다른가?
• RQ3 포지트-고정소수점 변환을 통해 하드웨어 복잡도를 줄이면서 모델 정확도를 얼마나 잘 유지할 수 있는가?
• RQ4 수정된 포지트 기반 매개변수 저장 방식이 메모리 프로필과 에너지 효율성에 어떤 영향을 미치는가?
• RQ5 포지트 표현과 고정소수점 산술의 병합 효과가 전체 시스템 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 포지트-고정소수점 변환기는 최소한의 정확도 저하로 고성능 및 에너지 효율적인 FPGA 구현을 가능하게 한다.
• 8비트 고정소수점 가속기와 비교해 제안된 시스템은 매개변수 저장 요구량을 약 46% 감소시킨다.
• MAC 유닛은 8비트 고정소수점 대비 약 18% 더 낮은 에너지 소비를 달성한다.
• 수정된 포지트 기반 매개변수 저장 형식은 모델 정확도를 유지하면서 효과적으로 메모리 프로필을 줄인다.
• 이 프레임워크는 포지트 표현 방식과 고정소수점 산술의 융합이 정확도 손실 없이 저장 용량과 에너지 효율성 측면에서 뚜렷한 성과를 낸다는 것을 입증한다.
• 하드웨어 인식 변환을 통해 포지트의 동적 특성이 완화되어 FPGA 구현에서 핵심 경로 지연과 자원 사용량이 감소한다.