[논문 리뷰] TENT: Efficient Quantization of Neural Networks on the tiny Edge with Tapered FixEd PoiNT

Hamed F. Langroudi, Vedant Karia외 2명|arXiv (Cornell University)|2021. 04. 05.

Advanced Neural Network Applications인용 수 5

한 줄 요약

TENT는 TINYML 모델의 가중치 및 활성화 분포에 맞게 각 레이어별로 수치 포맷 파라미터(정수 비트 수 및 스케일링)를 동적으로 조정하는 동적 테이퍼드 고정점 양자화 프레임워크를 제안한다. CIFAR-10 및 ImageNet 벤치마크에서 표준 고정점 양자화 대비 최대 31% 높은 정확도를 달성하면서도 에너지 소비는 17–30% 뿐만 증가한다.

ABSTRACT

In this research, we propose a new low-precision framework, TENT, to leverage the benefits of a tapered fixed-point numerical format in TinyML models. We introduce a tapered fixed-point quantization algorithm that matches the numerical format's dynamic range and distribution to that of the deep neural network model's parameter distribution at each layer. An accelerator architecture for the tapered fixed-point with TENT framework is proposed. Results show that the accuracy on classification tasks improves up to ~31 % with an energy overhead of ~17-30 % as compared to fixed-point, for ConvNet and ResNet-18 models.

연구 동기 및 목표

• 표준 고정점 형식의 고정된 동적 범위와 균일한 간격으로 인해 발생하는 저해상도 TINYML 모델의 성능 저하 문제를 해결한다.
• 테이퍼드 정밀도와 유연한 동적 범위를 가진 수치 포맷을 활용하여 저비트 고정점 산술에서의 양자화 오차를 완화한다.
• 각 레이어의 매개변수 및 활성화의 통계 분포에 맞게 수치 포맷을 맞춤형으로 조정하는 양자화 프레임워크를 설계한다.
• 테이퍼드 고정점 추론을 위한 하드웨어 최적화된 가속기 아키텍처를 설계하여 지연 및 에너지 효율성을 평가한다.
• 실제 TINYML 벤치마크에서 테이퍼드 고정점 양자화가 표준 고정점보다 정확도는 높이고 에너지 소비는 관리 가능한 수준으로 유지됨을 입증한다.

제안 방법

• 고정점의 하드웨어 효율성과 포지트 형식의 동적 범위 및 비균일 해상도를 결합한 테이퍼드 고정점(TFX) 수치 포맷을 도입한다.
• 레이어별로 매개변수 및 활성화의 통계 분포에 기반해 정수 비트 폭(IS)과 스케일링 인자(SC)를 동적으로 선택하는 알고리즘을 설계한다.
• 5~8비트의 비트 폭을 사용하여 TFX 형식을 활용해 ConvNet 및 ResNet-18 모델의 가중치와 활성화를 모두 양자화한다.
• 지연 및 에너지 소비를 평가하기 위해 출력 정적 데이터플로우와 16×16 PE 어레이를 사용한 맞춤형 하드웨어 가속기를 구현한다.
• 각 레이어별로 변수인 IS 및 SC를 지원하면서 면적과 에너지 소비를 최소화하는 TFX MAC 유닛 설계를 최적화한다.
• 정확도, 에너지-지연 제품(EDP), 계산 효율성 지표를 사용해 MNIST, 패션-MNIST, CIFAR-10에서 추론 성능을 벤치마크한다.

실험 결과

연구 질문

• RQ1 동적 범위와 비균일 해상도를 가진 테이퍼드 고정점 형식이 표준 고정점 대비 저해상도 TINYML 모델의 양자화 오차를 줄일 수 있는가?
• RQ2 정수 비트 수와 스케일링 인자를 레이어별로 적응적으로 조정함으로써 다양한 TINYML 모델의 추론 정확도는 어느 정도 향상되는가?
• RQ3 TINYML 추론을 위한 하드웨어 가속기에서 테이퍼드 고정점 산술을 구현할 경우 에너지 및 지연 오버헤드는 얼마나 되는가?
• RQ4 표준 벤치마크에서 TENT의 성능은 표준 고정점 양자화 대비 정확도 및 에너지 효율성 측면에서 어떻게 비교되는가?
• RQ5 특히 ResNet-18처럼 높은 매개변수 동적 범위를 가진 모델에서 TENT 프레임워크는 동일한 비트 폭에서 고정점보다 더 높은 정확도를 달성하는가?

주요 결과

• CIFAR-10 데이터셋에서 TENT는 표준 고정점 양자화 대비 최대 31% 높은 추론 정확도를 달성한다. 특히 8비트 ResNet-18 모델에서 두드러진다.
• CIFAR-10에서 8비트 TFX는 고정점 대비 81.66%의 상위-1 정확도를 기록하며, 이는 54.20%의 고정점 정확도 대비 27.44%의 상대적 향상이다.
• TFX의 에너지-지연 제품(EDP)은 고정점 대비 오직 17–30% 뿐만 증가하여 높은 정확도 향상에 비해 최소한의 하드웨어 비용을 유발한다.
• TENT 프레임워크는 가중치 및 활성화의 레이어별 분포에 맞게 수치 포맷을 적응적으로 조정함으로써 총 양자화 오차를 감소시킨다.
• 16×16 PE 어레이를 사용한 출력 정적 데이터플로우는 계산 효율성을 89.58%에서 91.82%로 향상시키며, 웨이트 정적 플로우 대비 지연을 24% 감소시킨다.
• 제안된 TFX MAC 유닛은 면적과 에너지 소비를 감소시키며, 각 레이어별로 변수인 IS 및 SC를 지원하여 동적 적응을 가능하게 한다.