[논문 리뷰] FATE: Fast and Accurate Timing Error Prediction Framework for Low Power DNN Accelerator Design

Jeff Zhang, Siddharth Garg|arXiv (Cornell University)|2018. 07. 02.

Energy Harvesting in Wireless Networks참고 문헌 2인용 수 5

한 줄 요약

FATE는 저전력 DNN 가속기의 시간 오차 예측 프레임워크로, DNN 기반 지연 모델(DelayNet)과 MAC 연산의 통계적 샘플링을 결합하여 빠르고 정확한 예측을 제공한다. 분류 정확도 오차가 2% 미만인 8×–58×의 속도 향상을 달성하여 효율적인 아키텍처 탐색을 가능하게 하며, 예를 들어 부호-크기 표현 방식은 시간 오차를 감소시키고 동일 정확도에서 2의 보수 표현보다 18% 더 높은 에너지 절감을 가능하게 한다.

ABSTRACT

Deep neural networks (DNN) are increasingly being accelerated on application-specific hardware such as the Google TPU designed especially for deep learning. Timing speculation is a promising approach to further increase the energy efficiency of DNN accelerators. Architectural exploration for timing speculation requires detailed gate-level timing simulations that can be time-consuming for large DNNs that execute millions of multiply-and-accumulate (MAC) operations. In this paper we propose FATE, a new methodology for fast and accurate timing simulations of DNN accelerators like the Google TPU. FATE proposes two novel ideas: (i) DelayNet, a DNN based timing model for MAC units; and (ii) a statistical sampling methodology that reduces the number of MAC operations for which timing simulations are performed. We show that FATE results in between 8 times-58 times speed-up in timing simulations, while introducing less than 2% error in classification accuracy estimates. We demonstrate the use of FATE by comparing to conventional DNN accelerator that uses 2's complement (2C) arithmetic with an alternative implementation that uses signed magnitude representations (SMR). We show that that the SMR implementation provides 18% more energy savings for the same classification accuracy than 2C, a result that might be of independent interest.

연구 동기 및 목표

• 대규모 DNN 가속기, 예를 들어 Google TPU와 같은 경우, 최신 모델인 AlexNet과 같은 경우에서 게이트 수준의 시간 시뮬레이션에 수백 시간이 소요되는 문제를 해결하기 위해.
• 특히 저전력 설계를 위한 DNN 가속기에서 시간 오차 예측 기법의 효율적인 아키텍처 탐색을 가능하게 하기 위해.
• 특히 2의 보수(2C)와 부호-크기 표현 방식(SMR) 간의 데이터 표현 방식이 시간 오차 비율과 에너지 효율성에 미치는 영향을 비교하기 위해.
• 완전한 게이트 수준 시뮬레이션의 계산 부담을 줄이되 예측 정밀도를 손상시키지 않는 스케일러블하고 정확하며 빠른 시뮬레이션 프레임워크를 개발하기 위해.

제안 방법

• FATE는 개별 MAC 유닛의 지연을 입력 값 기반으로 예측하기 위해 훈련된 딥 네ural 네트워크인 DelayNet을 도입하여, 지연 추정을 위한 고비용의 게이트 수준 시뮬레이션을 대체한다.
• 선택된 MAC 유닛(예: 시스톨릭 어레이의 특정 열)의 부분 집합만을 시뮬레이션하기 위해 통계적 샘플링을 적용하고, 나머지 유닛에 대해 관측된 오차 비율을 확률적으로 주입한다.
• 기능 시뮬레이션과 DelayNet으로 예측된 지연을 조합하여 시간 오차가 DNN 추론 정확도에 미치는 영향을 추정한다.
• FATE는 두 가지 변형을 지원한다: FATE-DNN(지연 예측에 DelayNet 사용)과 FATE-Samp(시뮬레이션 부하를 줄이기 위해 샘플링 사용), 둘 다 빠르고 정확한 오차 비율 추정을 가능하게 한다.
• 이 방법은 MAC 유닛이 동일하고 유사한 입력 분포를 가진 시스톨릭 어레이 아키텍처의 규칙성과 균일성을 활용한다.
• 예측 결과를 완전한 게이트 수준 시뮬레이션과 대조하여 검증하고, 분류 정확도 및 시간 오차 비율 추정에서 최소한의 오차로 높은 정확도를 입증한다.

실험 결과

연구 질문

• RQ1 대규모 DNN 가속기의 시간 오차 시뮬레이션을 정확도를 희생시키지 않고 어떻게 가속화할 수 있는가?
• RQ2 특히 2의 보수와 부호-크기 표현 방식 간의 데이터 표현이 DNN 가속기의 시간 오차 비율과 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 학습된 지연 모델인 DelayNet이 DNN 워크로드의 다양한 입력 패턴에서 MAC 유닛의 지연을 정확하게 예측할 수 있는가?
• RQ4 MAC 연산의 통계적 샘플링을 통해 시뮬레이션 시간을 얼마나 줄일 수 있으며, 시간 오차 추정의 정밀도를 유지할 수 있는가?
• RQ5 시스톨릭 어레이 기반 DNN 가속기에서 시간 사전 예측을 사용할 경우, 다양한 산술 표현 방식 간의 에너지-정확도 트레이드오프는 어떠한가?

주요 결과

• FATE는 AlexNet에 대해 전체 게이트 수준 시뮬레이션의 384시간에서, 사용된 변형에 따라 7~48시간으로 단축하여 8×에서 58.57×의 속도 향상을 달성한다.
• FATE의 분류 정확도 추정치는 전체 시뮬레이션과 2% 미만의 오차를 보이며, 시간 오차 비율 추정치의 평균 오차는 4.3%~6.17%이다.
• 작은 가중치 값에 대해 SMR 기반 MAC 유닛은 2C보다 훨씬 낮은 평균 및 최대 지연을 보이며, 이는 가장 낮은 유효 비트에서의 스위칭 활동 감소 때문이다.
• AlexNet에서 SMR 기반 가속기는 동일한 에너지 절감을 위해 2C보다 최대 14.45% 더 높은 분류 정확도를 달성하거나, 동일한 정확도를 위해 18% 더 높은 에너지 절감을 가능하게 한다.
• 결과적으로 SMR는 2C보다 시간 오차에 더 강건하며, 저전력, 시간 사전 예측 기반 DNN 가속기의 우수한 선택임을 입증한다.
• FATE는 시뮬레이션 시간을 극적으로 단축시켜 이전에는 불가능했던 아키텍처 탐색—예를 들어 ImageNet 전체 검증—을 가능하게 하며, 높은 예측 정확도를 유지한다.