[논문 리뷰] Benchmarking Deep Learning Hardware and Frameworks: Qualitative Metrics.

Wei Dai, Daniel Berleant|arXiv (Cornell University)|2019. 07. 05.

Ferroelectric and Negative Capacitance Devices인용 수 1

한 줄 요약

이 논문은 16개의 딥러닝 프레임워크와 다수의 AI 가속기(GPU, FPGA, ASIC)를 평가하여 성능, 효율성, 사용성 간의 상호 보완적 특성에 기반한 기술 선택을 안내하는, 하드웨어 플랫폼에 12개의 정량적 지표와 소프트웨어 프레임워크에 7개의 정성적 지표를 사용한 종합적인 벤치마킹 프레임워크를 제안한다. 이는 딥러닝 하드웨어 및 소프트웨어 플랫폼에 대한 표준화된 벤치마킹 접근법을 수립하고, 주요 AI 가속기(GPU, FPGA, ASIC)의 상이한 특성들을 분석하며, 사용성, 유연성, 통합 능력에 중점을 둔 7개 지표 프레임워크를 활용해 딥러닝 프레임워크를 정성적으로 평가함으로써, 정의된 벤치마킹 기준에 기반해 16개의 딥러닝 프레임워크와 다수의 하드웨어 플랫폼을 비교 분석한다. 또한 성능 및 사용성 차원에서의 상호 보완적 특성을 정량화함으로써 AI 시스템 설계 시 의사결정을 지원한다.

ABSTRACT

Previous survey papers offer knowledge of deep learning hardware devices and software frameworks. This paper introduces benchmarking principles, surveys machine learning devices including GPUs, FPGAs, and ASICs, and reviews deep learning software frameworks. It also reviews these technologies with respect to benchmarking from the angles of our 7-metric approach to frameworks and 12-metric approach to hardware platforms. After reading the paper, the audience will understand seven benchmarking principles, generally know that differential characteristics of mainstream AI devices, qualitatively compare deep learning hardware through our 12-metric approach for benchmarking hardware, and read benchmarking results of 16 deep learning frameworks via our 7-metric set for benchmarking frameworks.

연구 동기 및 목표

• 딥러닝 하드웨어 및 소프트웨어 플랫폼에 대한 표준화된 벤치마킹 접근법을 수립하기 위해.
• GPU, FPGA, ASIC을 포함한 주요 AI 가속기의 상이한 특성들을 식별하고 분석하기 위해.
• 사용성, 융통성, 통합 능력에 중점을 둔 7개 지표 프레임워크를 활용해 딥러닝 프레임워크를 정성적으로 평가하기 위해.
• 정의된 벤치마킹 기준에 기반해 16개의 딥러닝 프레임워크와 다수의 하드웨어 플랫폼을 비교 분석하기 위해.
• 성능 및 사용성 차원에서의 상호 보완적 특성을 정량화함으로써 AI 시스템 아키텍트 및 연구자들이 의사결정을 내리는 데 지원하기 위해.

제안 방법

• 성능, 에너지 효율성, 프로그래밍 가능성 등을 포함한 다양한 요소를 다루는 12개 지표의 딥러닝 하드웨어 플랫폼 벤치마킹 프레임워크를 개발하였다.
• 사용성, 배포 유연성, 생태계 지원에 중점을 둔 7개 지표의 딥러닝 소프트웨어 프레임워크 평가 프레임워크를 설계하였다.
• 16개 주요 딥러닝 프레임워크를 7개 지표 프레임워크를 사용해 조사·분석하여 설계 및 배포 특성에서의 정성적 차이를 평가하였다.
• GPU, FPGA, ASIC과 같은 주요 AI 하드웨어 장치들을 12개 지표 하드웨어 벤치마킹 접근법을 사용해 평가하여 그들의 강점과 한계를 부각시켰다.
• 프레임워크 및 하드웨어 평가에서 도출된 정성적 통찰을 통합하여 기술 선택을 위한 통합된 비교 평가를 수행하였다.
• 하드웨어 및 소프트웨어 전반에 걸쳐 벤치마킹 원칙을 일관되게 적용하여 교차 플랫폼 비교 가능성과 실질적인 통찰을 확보하였다.

실험 결과

연구 질문

• RQ1 주요 딥러닝 하드웨어 플랫폼(GPU, FPGA, ASIC)은 성능 및 효율성 차원에서 어떻게 비교될 수 있는가?
• RQ2 사용성, 융통성, 배포 지원 측면에서 16개 주요 딥러닝 프레임워크 간의 정성적 차이는 무엇인가?
• RQ3 12개의 하드웨어 지표와 7개의 프레임워크 지표는 어떻게 함께 AI 플랫폼의 체계적인 비교를 가능하게 하는가?
• RQ4 딥러닝 워크로드에 대해 하드웨어 가속기와 소프트웨어 프레임워크 간 선택 시 드러나는 상호 보완적 특성은 무엇인가?
• RQ5 제안된 벤치마킹 지표는 AI 시스템 아키텍트 및 연구자들이 의사결정을 내리는 데 어떻게 향상되는가?

주요 결과

• 12개 지표의 하드웨어 벤치마킹 프레임워크는 AI 가속기 간의 체계적이고 다차원적인 비교를 가능하게 하여, GPU, FPGA, ASIC 간의 성능, 에너지 효율성, 프로그래밍 가능성에서 뚜렷한 상호 보완적 특성을 드러낸다.
• 딥러닝 프레임워크를 위한 7개 지표 프레임워크는 사용성, 배포 유연성, 생태계 성숙도를 포함한 16개 주요 프레임워크 간의 정성적 평가를 체계적으로 수행할 수 있는 방법을 제공한다.
• GPU는 프레임워크 지원과 성능에서 높은 순위를 유지하지만, 특정 워크로드에서는 FPGA 및 ASIC에 비해 더 높은 에너지 소비를 보인다.
• ASIC는 특정 추론 작업에서 뛰어난 에너지 효율성과 성능을 보이지만, 일반 목적의 GPU 및 FPGA에 비해 융통성이 떨어진다.
• FPGA는 특수 워크로드에 대해 뛰어난 적응성과 저지연 성능을 제공하지만, 효과적인 배포를 위해서는 상당한 전문 지식이 필요하다.
• 이 벤치마킹 접근법은 연구자 및 실무자가 딥러닝 응용 프로그램의 하드웨어 및 소프트웨어 스택 선택 시 데이터 기반의 정보에 기반한 의사결정을 내리는 데 기여한다.