[论文解读] InferBench: Understanding Deep Learning Inference Serving with an Automatic Benchmarking System

Huaizheng Zhang, Yizheng Huang+3 more|arXiv (Cornell University)|Nov 4, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用 6

一句话总结

InferBench 是一个自动化的、分布式的基准测试系统，通过自动化工作负载生成、模型变体和性能分析，简化了深度学习推理服务的评估。它通过两级调度器将平均作业完成时间减少30%（提速1.43倍），并为硬件、软件和流水线配置下的延迟、成本和资源权衡提供了可操作的指导方针。

ABSTRACT

Deep learning (DL) models have become core modules for many applications. However, deploying these models without careful performance benchmarking that considers both hardware and software's impact often leads to poor service and costly operational expenditure. To facilitate DL models' deployment, we implement an automatic and comprehensive benchmark system for DL developers. To accomplish benchmark-related tasks, the developers only need to prepare a configuration file consisting of a few lines of code. Our system, deployed to a leader server in DL clusters, will dispatch users' benchmark jobs to follower workers. Next, the corresponding requests, workload, and even models can be generated automatically by the system to conduct DL serving benchmarks. Finally, developers can leverage many analysis tools and models in our system to gain insights into the trade-offs of different system configurations. In addition, a two-tier scheduler is incorporated to avoid unnecessary interference and improve average job compilation time by up to 1.43x (equivalent of 30\% reduction). Our system design follows the best practice in DL clusters operations to expedite day-to-day DL service evaluation efforts by the developers. We conduct many benchmark experiments to provide in-depth and comprehensive evaluations. We believe these results are of great values as guidelines for DL service configuration and resource allocation.

研究动机与目标

• 解决现有深度学习推理基准测试系统（如 MLPerf）在可配置性和自动化方面的不足。
• 减少开发人员在生产环境中部署深度学习模型时进行基准测试所需的手动操作和出错风险。
• 实现对硬件、软件和推理流水线配置组合的设计空间全面探索。
• 在现实世界约束条件下，提供基于数据的、可操作的服务配置和资源分配指导。
• 通过一种新颖的两级调度器提升系统效率，将平均作业完成时间减少30%。

提出的方法

• 在深度学习集群中部署自动基准测试系统，开发人员仅需提交一个配置文件。
• 自动生成具有不同超参数（如层数、类型）的多样化模型，以探索设计空间。
• 通过领导者-跟随者架构分发基准测试作业，由领导者将任务分发给工作节点。
• 实现两级调度器，结合队列感知负载均衡与最短作业优先（SJF）策略，以最小化作业完成时间。
• 使用标准化指标（尾部延迟、云成本、资源使用率）和分析模型（Roofline模型、热力图）进行性能分析。
• 通过三种网络技术（如 4G LTE）模拟真实世界的推理流水线，评估端到端延迟和传输影响。

实验结果

研究问题

• RQ1 如何实现深度学习推理基准测试的自动化，以减少开发人员的工作量和出错率？
• RQ2 不同硬件平台、推理软件和网络条件对推理性能和成本有何影响？
• RQ3 超参数（如批处理大小和模型深度）如何影响延迟、吞吐量和资源利用率？
• RQ4 两级调度器是否能在分布式基准测试环境中显著改善作业完成时间？
• RQ5 在真实世界的深度学习推理部署中，延迟、成本和资源使用之间的关键权衡是什么？

主要发现

• 两级调度器（队列感知结合 SJF）将平均作业完成时间减少了 1.43 倍，相当于提升了 30%。
• 在小批量大小下，传输时间与推理时间相当，但随着批量大小增加，推理时间成为主导因素。
• 4G LTE 导致最高的端到端延迟，表明移动推理工作负载存在显著的网络开销。
• 对于小型模型（如 ResNet50），冷启动时间超过 10 秒，对资源规划构成挑战。
• 不同推理软件的 GPU 利用率差异显著，TFS 在稳定性和效率方面均优于 TrIS。
• 该系统实现了对硬件、软件和流水线三个层级的全面分析，为配置和优化提供了可操作的洞察。