[论文解读] HPC AI500: The Methodology, Tools, Roofline Performance Models, and Metrics for Benchmarking HPC AI Systems

Zihan Jiang, Lei Wang+7 more|arXiv (Cornell University)|Jul 1, 2020

Advanced Data Storage Technologies参考文献 65被引用 13

一句话总结

该论文提出了 HPC AI500 V2，一种针对高性能计算（HPC）AI 系统的综合性基准测试方法，确保了等效性、代表性、可负担性和可重复性。该方法基于 AIBench 提出两个真实世界基准——图像分类与极端天气分析，并引入 Roofline 性能模型以及新型指标如有效 FLOPS 和每瓦有效 FLOPS，以客观评估系统性能与能效表现。

ABSTRACT

The recent years witness a trend of applying large-scale distributed deep learning in both business and scientific computing areas, whose goal is to speed up the training time to achieve a state-of-the-art quality. The HPC community feels a great interest in building the HPC AI systems that are dedicated to running those workloads. The HPC AI benchmarks accelerate the process. Unfortunately, benchmarking HPC AI systems at scale raises serious challenges. None of previous HPC AI benchmarks achieve the goal of being equivalent, relevant, representative, affordable, and repeatable. This paper presents a comprehensive methodology, tools, Roofline performance models, and innovative metrics for benchmarking, optimizing, and ranking HPC AI systems, which we call HPC AI500 V2.0. We abstract the HPC AI system into nine independent layers, and present explicit benchmarking rules and procedures to assure equivalence of each layer, repeatability, and replicability. On the basis of AIBench -- by far the most comprehensive AI benchmarks suite, we present and build two HPC AI benchmarks from both business and scientific computing: Image Classification, and Extreme Weather Analytics, achieving both representativeness and affordability. To rank the performance and energy-efficiency of HPC AI systems, we propose Valid FLOPS, and Valid FLOPS per watt, which impose a penalty on failing to achieve the target quality. We propose using convolution and GEMM -- the two most intensively-used kernel functions to measure the upper bound performance of the HPC AI systems, and present HPC AI roofline models for guiding performance optimizations. The evaluations show our methodology, benchmarks, performance models, and metrics can measure, optimize, and rank the HPC AI systems in a scalable, simple, and affordable way. HPC AI500 V2.0 are publicly available from http://www.benchcouncil.org/benchhub/hpc-ai500-benchmark.

研究动机与目标

• 解决当前缺乏等效、可重复且具有代表性的 HPC AI 系统基准测试问题，以实现对不同软硬件堆栈的公平性能比较。
• 克服现有基准测试（如 MLPerf、HPL-AI、Deep500 和 AAH）的局限性，这些基准测试无法确保等效性、可复现性或真实工作负载的代表性。
• 开发一种方法论，将 HPC AI 系统抽象为九个独立层级，以实现受控的、分层的基准测试，并制定严格的等效性与可重复性规则。
• 创建基于真实业务与科学 AI 工作负载的低成本、代表性强且可扩展的基准测试——图像分类（基于 ImageNet/ResNet-50）与极端天气分析。
• 引入新型性能指标——有效 FLOPS 与每瓦有效 FLOPS，对未能达到目标模型质量的系统进行惩罚，确保性能与能效排名的公平性。

提出的方法

• 将 HPC AI 系统抽象为九个独立层级（如硬件、软件栈、通信等），在保持其他层级固定的同时隔离并测试每一层级，以确保等效性与可重复性。
• 为每个层级定义严格的基准测试规则与流程，包括并行度、通信方式与精度配置，以确保在不同系统间的一致性实现。
• 构建两个完整的端到端基准测试：图像分类（基于 ImageNet/ResNet-50）与极端天气分析（使用真实科学数据集），两者均源自全面的 AIBench 套件。
• 基于卷积与 GEMM 内核构建 HPC AI Roofline 模型，作为性能上限，以支持系统化的性能分析与优化指导。
• 引入有效 FLOPS 与每瓦有效 FLOPS 指标，对未达到目标准确率的系统施加惩罚，确保性能排名同时反映速度与质量合规性。
• 通过 BenchCouncil 公共代码库发布开源规范、源代码、数据集与基准测试数据，以保障透明度、可复现性与社区采纳。

实验结果

研究问题

• RQ1 如何对 HPC AI 系统进行基准测试，以确保在不同软硬件配置下具备等效性、可重复性与可复现性？
• RQ2 哪些真实世界 AI 工作负载最能代表 HPC AI 系统在商业与科学计算领域中的性能特征？
• RQ3 当系统在实现目标模型质量的能力上存在差异时，如何实现性能与能效的公平排名？
• RQ4 基于基础内核（卷积与 GEMM）的 Roofline 模型在指导 HPC AI 工作负载的系统级优化中发挥何种作用？
• RQ5 是否可以设计一种既可扩展又经济实惠的基准测试方法论，同时保持对 HPC AI 系统的高度代表性与技术严谨性？

主要发现

• HPC AI500 V2 方法论通过将系统抽象为九个独立层级并制定标准化测试规则，成功实现了等效性、可重复性与可复现性。
• 两个基准测试——图像分类与极端天气分析——展现出强大的代表性与可负担性，使用真实世界数据集与生产级模型。
• 引入有效 FLOPS 与每瓦有效 FLOPS 指标，通过惩罚未达目标准确率的系统，实现了对性能与能效的公平排名。
• 基于卷积与 GEMM 内核的 HPC AI Roofline 模型能有效识别性能瓶颈，并为 HPC AI 系统的优化策略提供指导。
• 评估结果证实，该方法论、基准测试、模型与指标具备可扩展性、简洁性与经济性，可在多种 HPC AI 平台间实现一致的系统评估。
• 所有规范、源代码、数据集与基准测试数据均可在 http://www.benchcouncil.org/benchhub/hpc-ai500-benchmark 公开获取，支持透明化与社区广泛采用。