[论文解读] Benchmarking Deep Learning Hardware and Frameworks: Qualitative Metrics.

Wei Dai, Daniel Berleant|arXiv (Cornell University)|Jul 5, 2019

Ferroelectric and Negative Capacitance Devices被引用 1

一句话总结

本文提出了一套全面的深度学习软硬件基准测试框架，针对硬件平台使用12项定量指标，针对软件框架使用7项定性指标。该研究评估了16个深度学习框架及多种AI加速器（GPU、FPGA、ASIC），提供了系统性、对比性的分析，以指导基于性能、效率和易用性权衡的技术选型。

ABSTRACT

Previous survey papers offer knowledge of deep learning hardware devices and software frameworks. This paper introduces benchmarking principles, surveys machine learning devices including GPUs, FPGAs, and ASICs, and reviews deep learning software frameworks. It also reviews these technologies with respect to benchmarking from the angles of our 7-metric approach to frameworks and 12-metric approach to hardware platforms. After reading the paper, the audience will understand seven benchmarking principles, generally know that differential characteristics of mainstream AI devices, qualitatively compare deep learning hardware through our 12-metric approach for benchmarking hardware, and read benchmarking results of 16 deep learning frameworks via our 7-metric set for benchmarking frameworks.

研究动机与目标

• 建立标准化的深度学习软硬件平台基准测试方法。
• 识别并分析主流AI加速器（包括GPU、FPGA和ASIC）的差异化特性。
• 基于易用性、灵活性和集成度等维度，使用7项指标框架对深度学习框架进行定性评估。
• 根据既定的基准测试标准，对16个深度学习框架和多种硬件平台进行对比分析。
• 通过量化关键性能和易用性维度的权衡，支持AI系统设计中的明智决策。

提出的方法

• 开发了12项指标的硬件平台基准测试框架，涵盖性能、能效和可编程性等方面。
• 设计了7项指标的软件框架评估框架，强调易用性、部署灵活性和生态系统支持。
• 使用7项指标框架对16个主流深度学习框架进行调查与分析，以评估其在设计和部署特性上的定性差异。
• 采用12项指标的硬件基准测试方法，对主流AI硬件设备（GPU、FPGA和ASIC）进行评估，突出其优势与局限性。
• 将框架与硬件评估所得的定性洞察整合到统一的对比评估中，以支持技术选型。
• 在软硬件层面一致应用基准测试原则，确保跨平台可比性并提供可操作的洞察。

实验结果

研究问题

• RQ1 主流深度学习硬件平台（GPU、FPGA、ASIC）在关键性能与能效维度上如何比较？
• RQ2 16个主流深度学习框架在易用性、灵活性和部署支持方面存在哪些定性差异？
• RQ3 12项硬件指标与7项框架指标如何共同实现对AI平台的系统性比较？
• RQ4 在选择硬件加速器与软件框架用于深度学习工作负载时，会浮现哪些权衡？
• RQ5 所提出的基准测试指标在多大程度上提升了AI系统架构师与研究人员的决策能力？

主要发现

• 12项指标的硬件基准测试框架能够对AI加速器进行系统性、多维比较，揭示GPU、FPGA和ASIC在性能、能效和可编程性方面的显著权衡。
• 7项指标的深度学习框架评估框架为定性评估16个主流框架在易用性、部署灵活性和生态系统成熟度方面提供了结构化方法。
• GPU在性能和框架支持方面表现优异，但在某些工作负载下能耗高于FPGA和ASIC。
• ASIC在特定推理任务中展现出卓越的能效和性能，但缺乏通用GPU和FPGA的灵活性。
• FPGA在专用工作负载中表现出强适应性和低延迟性能，但需较高专业技能才能有效部署。
• 该基准测试方法使研究人员和实践者能够基于数据做出更明智的软硬件栈选择决策。