[논문 리뷰] Resource-Efficient Neural Networks for Embedded Systems

Wolfgang Roth, Günther Schindler외 6명|arXiv (Cornell University)|2020. 01. 07.

Advanced Neural Network Applications참고 문헌 100인용 수 20

한 줄 요약

이 논문은 임베디드 시스템을 위한 자원 효율적인 딥 뉴럴 네트워크(DNN)에 대한 종합적인 서베이를 제시한다. 주로 정량화, 자르기, 구조적 효율성에 초점을 맞춰 메모리, 계산, 에너지 소비를 줄인다. 이는 CPU, GPU, FPGA에서 높은 추론 스루풋을 유지하면서 CIFAR-10과 ImageNet에서 경쟁 가능한 정확도를 확보할 수 있음을 보여준다.

ABSTRACT

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on resource-efficient inference based on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark data sets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and prediction quality.

연구 동기 및 목표

• 제한된 메모리, 계산 능력, 에너지원을 가진 실세계의 임베디드 및 IoT 시스템에 자원을 많이 소비하는 딥 뉴럴 네트워크(DNN)를 구현하는 데 도전하는 문제를 다루기.
• 예측 성능을 훼손하지 않으면서 DNN 복잡도를 줄이는 데 핵심적인 기법—정량화, 자르기, 구조적 효율성—을 식별하고 분석하기.
• 다양한 임베디드 하드웨어 플랫폼(CPU, GPU, FPGA)에서 압축 기법의 효과를 평가하여 시스템 수준의 설계 결정을 안내하기.
• 실세계 구현 시나리오에서 모델 정확도, 추론 속도, 에너지 효율성 간의 균형을 이루는 데의 어려움을 부각하기.

제안 방법

• 자원 효율적인 DNN 기법을 세 가지 상호배타적이지 않은 접근 방식으로 분류: 정량화된 신경망, 네트워크 자르기, 구조적 효율성.
• 각 범주에서 최신 기법들을 서베이하며, 사후 훈련 정량화, 구조적 및 비구조적 자르기, MobileNet 및 EfficientNet과 같은 효율적 아키텍처를 포함한다.
• 학습 중에 비트 폭을 학습하는 혼합 정밀도 정량화를 통합하여 표현력과 계산 효율성의 균형을 맞춘다.
• 압축 기법(정량화 및 자르기)을 훈련 중 또는 사후 처리 단계에서 적용하여 모델 크기를 줄이고 추론 속도를 향상시킨다.
• 다양한 하드웨어 특성을 지닌 임베디드 시스템(ARM CPU, NVIDIA GPU, Xilinx FPGA)에서 표준 벤치마크(CIFAR-10, ImageNet)를 사용해 성능을 평가한다.
• 하드웨어-소프트웨어 공동 설계의 타협 사항을 분석하며, 메모리 제약, 병렬성, 차트 내 데이터 흐름을 고려해 최적의 자원 활용을 강조한다.

실험 결과

연구 질문

• RQ1 정량화 및 자르기 기법은 예측 정확도를 유지하면서 DNN의 계산 및 메모리 포트폴리오를 어떻게 줄일 수 있는가?
• RQ2 압축된 DNN를 구현할 때, 다양한 임베디드 하드웨어 플랫폼(CPU, GPU, FPGA) 간의 성능 타협은 어떠한가?
• RQ3 구조적 자르기와 정량화를 얼마나 잘 조합할 수 있는가? 자원 제약이 있는 장치에서 높은 스루풋과 낮은 지연 시간을 달성할 수 있는가?
• RQ4 하드웨어 특성(예: 메모리 대역폭, 병렬성, 차트 내 스토리지)은 압축 기법의 효과성에 어떻게 影향을 미치는가?
• RQ5 자동화된 신경망 아키텍처 탐색(NAS)은 현재 인간이 설계한 설계를 초월해 근본적으로 새로운 효율적인 DNN 아키텍처를 발견할 수 있는가?

주요 결과

• FPGA는 데이터 플로우 아키텍처 덕분에 가장 높은 스루풋과 하드웨어 활용도를 달성하지만, 전체 모델(활성화 포함)이 차트 내에 맞아야 한다.
• GPU는 프로그래머블성, 스루풋, 정확도의 강력한 균형을 제공하며, 특히 최적화된 라이브러리와 외부 메모리와 조합될 경우 큰 모델에 적합하다.
• CPU는 압축된 모델에 적합하지만, 경쟁적인 추론 속도를 확보하기 위해 필요한 병렬성을 결여하고 있다. 메모리 용량은 크지만 말이다.
• 8비트 이하 정밀도로 정량화하면 메모리와 계산 비용이 크게 감소하며, 혼합 정밀도 접근 방식이 정확도 유지에 유리한 성능을 보인다.
• 구조적 자르기는 압축되고 조밀한 텐서 호환 모델을 생성하여 가속기로 효율적으로 매핑할 수 있게 하여 높은 추론 효율성을 달성한다.
• 정확도와 효율성 간의 최적 균형은 타겟 하드웨어에 따라 크게 달라지며, 모든 플랫폼에서 유일한 최적 방법은 존재하지 않는다.