[논문 리뷰] AdaptivFloat: A Floating-point based Data Type for Resilient Deep Learning Inference

Thierry Tambe, En-Yu Yang외 6명|arXiv (Cornell University)|2019. 09. 29.

Advanced Neural Network Applications참고 문헌 33인용 수 23

한 줄 요약

AdaptivFloat는 딥 뉴럴 네트워크의 레이어 수준에서 동적 범위를 최대화하고 최적의 클리핑을 수행하는 동적, 부동소수점 유사 데이터 유형이다. 이는 초저밀도 정밀도(≤8비트)에서도 높은 추론 정확도를 가능하게 하며, FP32 기준으로 최대 +0.3 BLEU 점수 향상과 -0.75 WER 개선을 달성한다. 또한 정수 기반 가속기 대비 연산당 에너지 소비를 10–100% 감소시키며, 하드웨어 구현 시 면적 효율성은 1.14배, 에너지 효율성은 0.9배 향상된다.

ABSTRACT

Conventional hardware-friendly quantization methods, such as fixed-point or integer, tend to perform poorly at very low word sizes as their shrinking dynamic ranges cannot adequately capture the wide data distributions commonly seen in sequence transduction models. We present AdaptivFloat, a floating-point inspired number representation format for deep learning that dynamically maximizes and optimally clips its available dynamic range, at a layer granularity, in order to create faithful encoding of neural network parameters. AdaptivFloat consistently produces higher inference accuracies compared to block floating-point, uniform, IEEE-like float or posit encodings at very low precision ($\leq$ 8-bit) across a diverse set of state-of-the-art neural network topologies. And notably, AdaptivFloat is seen surpassing baseline FP32 performance by up to +0.3 in BLEU score and -0.75 in word error rate at weight bit widths that are $\leq$ 8-bit. Experimental results on a deep neural network (DNN) hardware accelerator, exploiting AdaptivFloat logic in its computational datapath, demonstrate per-operation energy and area that is 0.9$ imes$ and 1.14$ imes$, respectively, that of equivalent bit width integer-based accelerator variants.

연구 동기 및 목표

• 변환기와 RNN과 같은 넓은 가중치 분포를 가진 딥 러닝 모델에서 고정소수점 및 정수 양자화의 열악한 성능을 해결하기 위해.
• 매우 낮은 비트 폭에서 표현 정밀도를 극대화하기 위해 레이어 단위로 지수 범위를 동적으로 조정하는 부동소수점 기반 데이터 유형을 개발하기 위해.
• 정수 기반 대안 대비 뛰어난 에너지 및 면적 효율성을 확보하기 위해 AdaptivFloat 산술을 통합한 하드웨어 효율적인 처리 요소(HFINT PE)를 설계하기 위해.
• 매우 낮은 정밀도에서 블록 부동소수점, 균일, IEEE 유사 부동소수점, 포지트 인코딩과 비교해 높은 계산 밀도와 낮은 정확도 손실을 제공하는가를 입증하기 위해.

제안 방법

• 수치 표현의 가용 동적 범위를 극대화하기 위해 각 레이어별로 동적 지수 오프셋 조정을 사용한다.
• 하드웨어 복잡성을 줄이기 위해 비정상 수에 대한 고유한 클램핑 전략과 맞춤형 영수치 할당 방식을 적용한다.
• 블록 부동소수점 형식에서 흔히 발생하는 정밀도 손실을 방지하기 위해 각 텐서 요소에 대해 독립적인 지수 및 가수 비트를 유지한다.
• 실시간 추론 중 조정이 가능하도록, 적응형 지수 오프셋을 레지스터에 내장하여 알고리즘-하드웨어 공동 설계를 구현한다.
• 부동소수점 연산과 고정소수점 후처리를 융합한 하이브리드 부동소수점-정수(HFINT) 처리 요소를 제안하여 정확도와 하드웨어 밀도의 균형을 맞춘다.
• 고수준 합성(HLS)을 사용해 Verilog로 하드웨어를 구현하였으며, 파이ipel라인 벡터 MAC 유닛을 탑재한 16nm FinFET 공정을 대상으로 하였다.

실험 결과

연구 질문

• RQ1 부동소수점 기반 데이터 유형이 레이어별로 지수 범위를 동적으로 조정함으로써 초저밀도 DNN 추론의 정확도를 향상시킬 수 있는가?
• RQ2 ≤8비트 정밀도에서 AdaptivFloat가 고정소수점, 블록 부동소수점, 비적응형 부동소수점/포지트 형식과 비교해 추론 정확도에서 어떤가?
• RQ3 동일한 비트 폭에서 AdaptivFloat를 사용한 가속기의 에너지 및 면적 효율성은 정수 기반 대안 대비 어떠한가?
• RQ4 제안된 HFINT 처리 요소는 단일 정수 PE 대비 뛰어난 에너지 효율성을 확보할 수 있는가?
• RQ5 기존의 초저밀도 인코딩 방식과 비교해 AdaptivFloat는 더 높은 계산 밀도와 낮은 정확도 손실을 제공하는가?

주요 결과

• AdaptivFloat는 ≤8비트 가중치 정밀도에서 FP32 기준으로 최대 +0.3 BLEU 점수 향상과 -0.75 WER 개선을 달성하여, 순서 기반 모델에서 뛰어난 정확도를 입증하였다.
• HFINT PE는 다양한 벡터 크기와 피연산자 비트 폭에서 정수 기반 PE 대비 연산당 에너지 소비를 0.90×에서 0.97×까지 감소시켰다.
• HFINT 가속기는 정수 기반 가속기 대비 1.14배 더 많은 면적을 사용하지만, 전력 소비는 0.92배로 줄여 에너지 효율성 향상을 확인하였다.
• 8비트 정밀도에서 AdaptivFloat는 정확도 및 에너지 효율성 측면에서 블록 부동소수점, 균일, IEEE 유사 부동소수점, 포지트 인코딩 모두를 일관되게 능가하였다.
• 알고리즘-하드웨어 공동 설계 덕분에 정수 기반 설계와 동일한 지연 시간에서 100% 계산 시간 효율성을 확보하였으며, 더 뛰어난 PPA 지표를 달성하였다.
• AdaptivFloat의 자기지도 학습 특성은 재학습 없이 다양한 DNN 아키텍처에 널리 적용 가능하게 하며, 라벨이 없는 가중치 분포에만 의존한다.