[논문 리뷰] Training Deep Neural Networks Using Posit Number System

Jinming Lu, Siyuan Lu외 5명|arXiv (Cornell University)|2019. 09. 06.

Numerical Methods and Algorithms참고 문헌 14인용 수 6

한 줄 요약

이 논문은 딥 뉴럴 네트워크를 위한 새로운 훈련 방법론을 제안하며, 포지트 수 체계를 사용하여 ImageNet에서 정확도 손실 없이 16비트 포지트 훈련을 가능하게 한다. 안정적인 훈련을 위해 웜업 전략과 레이어별 스케일링을 도입하였으며, 에너지 효율적인 포지트 MAC 하드웨어 유닛을 설계하여 FP32 대비 최대 83%의 전력 감소와 76%의 면적 감소를 달성하였다.

ABSTRACT

With the increasing size of Deep Neural Network (DNN) models, the high memory space requirements and computational complexity have become an obstacle for efficient DNN implementations. To ease this problem, using reduced-precision representations for DNN training and inference has attracted many interests from researchers. This paper first proposes a methodology for training DNNs with the posit arithmetic, a type- 3 universal number (Unum) format that is similar to the floating point(FP) but has reduced precision. A warm-up training strategy and layer-wise scaling factors are adopted to stabilize training and fit the dynamic range of DNN parameters. With the proposed training methodology, we demonstrate the first successful training of DNN models on ImageNet image classification task in 16 bits posit with no accuracy loss. Then, an efficient hardware architecture for the posit multiply-and-accumulate operation is also proposed, which can achieve significant improvement in energy efficiency than traditional floating-point implementations. The proposed design is helpful for future low-power DNN training accelerators.

연구 동기 및 목표

• 기존의 부동소수점 형식보다 정밀도-다이나믹 레인지의 상호 보완적 특성을 가진 포지트 수 체계를 사용하여 저정밀도 훈련을 가능하게 하기 위해.
• 낮은 정밀도 포지트 형식을 사용할 경우 초기 훈련 단계에서 발생하는 안정성 및 정밀도 문제를 해결하기 위해.
• 효율적인 DNN 가속기 구현을 위한 하드웨어 최적화된 포지트 곱셈-합산(MAC) 유닛을 설계하기 위해.
• 포지트 산술이 계산 및 메모리 비용을 크게 줄일 수 있음에도 불구하고 전체 모델 정확도를 유지할 수 있음을 입증하기 위해.

제안 방법

• 모델 가중치를 안정화시키기 위해 초기 단계에서 FP32를 사용하는 웜업 훈련 단계를 적용한 후, 16비트 또는 8비트 포지트 산술로 전환한다.
• 포지트 형식의 다이나믹 레인지 및 정밀도 특성과 일치시키기 위해 로그 도메인 데이터 분포에서 유도된 레이어별 스케일링 계수를 도입한다.
• 각 레이어에 대해 다이나믹 레인지와 정밀도의 균형을 이루기 위해 최적의 지수 비트 수(es)를 선택하기 위한 정량 기준을 사용한다.
• 비critical path에 속하는 덧셈기기를 제거하기 위해 복제된 왼쪽 시프터를 사용하는 지연 감소형 디코더 및 인코더를 포함한 최적화된 하드웨어 아키텍처를 제안한다.
• Verilog HDL로 구현된 포지트 MAC 유닛을 TSMC 28nm 공정에서 합성하였으며, FP32 MAC 유닛과의 성능 및 면적 비교를 수행하였다.
• 디코더, FP MAC 유닛, 인코더를 통합한 설계로 지연과 전력 소비를 최소화하기 위한 최적화를 수행하였다.

실험 결과

연구 질문

• RQ1 정확도 손실 없이 16비트 포지트 산술을 사용하여 딥 뉴럴 네트워크를 성공적으로 훈련시킬 수 있는가?
• RQ2 낮은 정밀도 포지트 형식을 사용할 경우 초기 훈련 단계의 높은 민감성을 어떻게 완화할 수 있는가?
• RQ3 DNN 레이어의 데이터 분포와 포지트 수 체계의 정밀도 특성 간 최적의 일치를 보장하기 위한 스케일링 전략은 무엇인가?
• RQ4 효율적인 DNN 가속기 통합을 위해 포지트 산술의 하드웨어 오버헤드를 어떻게 최소화할 수 있는가?
• RQ5 최적화된 포지트 MAC 유닛으로 FP32 MAC 유닛을 대체할 경우 성능 및 에너지 효율성 향상은 얼마나 달성할 수 있는가?

주요 결과

• 제안된 방법은 ResNet-18을 ImageNet에서 16비트 포지트 산술로 훈련시키되, FP32와 비교해 정확도 손실 없이 성공적으로 수행할 수 있음을 입증하였다.
• FP32로 시작하는 웜업 전략 이후 16비트 포지트 훈련을 수행함으로써 모델 수렴성과 안정성이 확보되었다.
• 로그 도메인 데이터 분포에서 유도된 레이어별 스케일링 계수는 훈련의 안정성과 정확도를 크게 향상시켰다.
• 최적화된 포지트 MAC 하드웨어는 FP32 MAC 유닛 대비 전력 소비를 22%에서 83%까지 감소시키고, 면적은 6%에서 76%까지 감소시켰다.
• 디코더와 인코더 아키텍처는 각각 15%~30%, 25%~35%의 속도 향상을 달성하여 총 MAC 지연에 미치는 영향을 줄였다.
• 포지트 MAC 설계는 최대 4배의 데이터 전송 오버헤드 감소를 보이며, 저전력 DNN 훈련 가속기 구현에 매우 유망한 잠재력을 보였다.