[논문 리뷰] Deep Neural Network Approximation for Custom Hardware: Where We've Been, Where We're Going

Erwei Wang, James J. Davis외 6명|arXiv (Cornell University)|2019. 01. 21.

Advanced Neural Network Applications참고 문헌 144인용 수 25

한 줄 요약

이 논문은 맞춤형 하드웨어 가속기용으로 최적화된 딥 네ural 네트워크(DNN) 근사 기법에 대한 종합적인 서베이를 제시한다. 주로 계산 및 메모리 비용을 줄이는 데 초점 맞춘 양자화 및 자르기 기법을 다룬다. FPGA 및 ASIC 구현에서의 효과성을 평가하여, 일반 목적 프로세서 대비 하드웨어 인식 근사 기법이 처리량과 에너지 효율성 측면에서 뚜렷한 성과를 내는 것으로 입증한다. 사례 연구를 통해 이질적 FPGA-ASIC 시스템에서 최대 4.0× 높은 처리량과 3.3× 뛰어난 에너지 효율성을 달성한 바 있다.

ABSTRACT

Deep neural networks have proven to be particularly effective in visual and audio recognition tasks. Existing models tend to be computationally expensive and memory intensive, however, and so methods for hardware-oriented approximation have become a hot topic. Research has shown that custom hardware-based neural network accelerators can surpass their general-purpose processor equivalents in terms of both throughput and energy efficiency. Application-tailored accelerators, when co-designed with approximation-based network training methods, transform large, dense and computationally expensive networks into small, sparse and hardware-efficient alternatives, increasing the feasibility of network deployment. In this article, we provide a comprehensive evaluation of approximation methods for high-performance network inference along with in-depth discussion of their effectiveness for custom hardware implementation. We also include proposals for future research based on a thorough analysis of current trends. This article represents the first survey providing detailed comparisons of custom hardware accelerators featuring approximation for both convolutional and recurrent neural networks, through which we hope to inspire exciting new developments in the field.

연구 동기 및 목표

• 맞춤형 하드웨어 가속을 위한 최신 DNN 근사 기법—양자화 및 자르기—의 평가 및 비교.
• 알고리즘적 근사 기법이 하드웨어 플랫폼과 공동 설계되어 성능과 에너지 효율성을 향상시킬 수 있는 방식 분석.
• FPGA 및 ASIC에 압축된 DNN를 구현할 때의 주요 추세와 과제 규명.
• 현재 하드웨어 인식 훈련 및 가속기 설계의 한계를 바탕으로 향후 연구 방향 제안.

제안 방법

• 논문은 DNN 근사 기법에 중점을 두고 최근 100편 이상의 연구를 체계적으로 검토하고 비교 분석한다.
• 성능 저하 요인과 근사 기법으로 기대할 수 있는 성능 향상 여부를 파악하기 위해 룕프라인 모델을 활용해 하드웨어 성능을 평가한다.
• 근사 기법을 양자화(가중치/활성화 정밀도 감소)와 자르기(구조적 단순화 및 가중치 제거)로 분류한다.
• 특정 하드웨어 최적화 기법, 예를 들어 파rameter 하드닝, 동적 산술 연산 회피, 이종 FPGA-ASIC 통합을 검토한다.
• 실제 FPGA(예: ESE, Cnvlutin) 및 ASIC(예: Minerva, Google TPU) 구현 사례를 평가하여 처리량과 에너지 효율성을 분석한다.
• 하드웨어 효율성을 극대화하기 위해 근사 기반 훈련과 맞춤형 가속기를 공동 설계하는 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 다양한 양자화 및 자르기 기법은 DNN 추론을 위한 맞춤형 하드웨어 가속기의 성능과 에너지 효율성에 어떻게 영향을 미치는가?
• RQ2 DNN를 위한 이종 FPGA-ASIC 이종 시스템에서 설계의 유연성, 재사용성, 성능 간의 상호 교환 관계는 어떠한가?
• RQ3 파rameter 하드닝과 양자화된 가중치의 온칩 저장은 얼마나 많은 외부 메모리 액세스를 제거하고 에너지 효율성을 향상시킬 수 있는가?
• RQ4 세밀한 수준의 자르기로 인해 발생하는 비정규적인 희소성 패턴은 하드웨어 성능에 어떤 영향을 미치며, 이를 완화하기 위한 하드웨어 메커니즘은 무엇인가?
• RQ5 맞춤형 하드웨어 플랫폼과 함께 근사 기반 훈련을 공동 설계할 때의 주요 열린 과제는 무엇인가?

주요 결과

• Intel의 임베디드 멀티다이 인터커넥트 브리지 기반 이종 FPGA-ASIC 시스템은 AlexNet 기준으로 FPGA 전용 설계 대비 최대 4.0× 높은 처리량과 3.3× 뛰어난 에너지 효율성을 달성했다.
• 세밀한 수준의 자르기는 최대 9.0× 압축을 가능하게 하지만, 비정규적인 데이터 액세스 패턴으로 인해 일반 목적 프로세서(GPP)에서는 비례적인 스피드업을 확보하기 어려운 경우가 많다. 이는 전용 하드웨어의 필요성을 강조한다.
• ESE(FPGA) 및 Minerva(ASIC)와 같은 하드웨어 가속기는 희소 네트워크에서 동적 산술 연산을 피하는 기능을 지원함으로써 뛰어난 처리량과 에너지 효율성을 달성한다.
• 특히 밑수 2 로그 기반 양자화를 활용한 파라미터 하드닝은 곱셈 연산을 제거하고 외부 메모리 액세스를 줄여 일부 경우에서 완전한 온칩 실행을 가능하게 한다.
• 이질적 근사 기법(예: 이진화, 가중치 공유)을 활용한 맞춤형 하드웨어 가속기는 일반 목적 프로세서 대비 처리량과 에너지 효율성 측면에서 뛰어난 성능을 발휘한다.
• 학습 가능한 스케일링 인자와 자가 적응형 자르기/최적화 기법의 통합은 설계 지연을 크게 감소시키고 구현 타당성을 향상시킨다.