[论文解读] AI Tax: The Hidden Cost of AI Data Center Applications

Daniel Richins, Dharmisha Doshi+10 more|arXiv (Cornell University)|Jul 21, 2020

CCD and CMOS Imaging Sensors参考文献 22被引用 5

一句话总结

本文提出了“AI 税”这一概念——即在以人工智能为中心的边缘数据中心应用中，由预处理和后处理所引入的隐藏计算、存储和网络开销。通过使用开源工具和 AI 加速器在边缘数据中心环境中部署实时人脸识别系统，作者表明，这些非推理工作负载造成了显著的性能瓶颈，导致在使用专用异构边缘数据中心时，总拥有成本（TCO）比使用同构服务器架构低 15%。

ABSTRACT

Artificial intelligence and machine learning are experiencing widespread adoption in industry and academia. This has been driven by rapid advances in the applications and accuracy of AI through increasingly complex algorithms and models; this, in turn, has spurred research into specialized hardware AI accelerators. Given the rapid pace of advances, it is easy to forget that they are often developed and evaluated in a vacuum without considering the full application environment. This paper emphasizes the need for a holistic, end-to-end analysis of AI workloads and reveals the "AI tax." We deploy and characterize Face Recognition in an edge data center. The application is an AI-centric edge video analytics application built using popular open source infrastructure and ML tools. Despite using state-of-the-art AI and ML algorithms, the application relies heavily on pre-and post-processing code. As AI-centric applications benefit from the acceleration promised by accelerators, we find they impose stresses on the hardware and software infrastructure: storage and network bandwidth become major bottlenecks with increasing AI acceleration. By specializing for AI applications, we show that a purpose-built edge data center can be designed for the stresses of accelerated AI at 15% lower TCO than one derived from homogeneous servers and infrastructure.

研究动机与目标

• 揭示在 AI 工作负载中常被忽视的预处理和后处理所引入的性能与成本开销。
• 证明仅依靠 AI 加速器无法消除系统级瓶颈，尤其是在存储和网络 I/O 方面。
• 倡导对完整应用流水线进行端到端基准测试，而非仅关注 AI 核心性能。
• 表明对于 AI 工作负载，专用异构边缘数据中心相比同构服务器部署可实现 15% 的更低总拥有成本（TCO）。
• 强调 Apache Kafka 等通信框架在流式 AI 应用中引入延迟和资源争用的作用。

提出的方法

• 在边缘数据中心环境中，使用 FaceNet 模型和开源工具栈，部署了一个真实世界的开源人脸识别应用。
• 采用最先进的 AI 加速器，并测量了端到端延迟和所有流水线阶段的系统吞吐量。
• 对完整应用栈进行了表征，包括数据摄入、预处理、模型推理、后处理以及组件间通信。
• 使用 Apache Kafka 作为流式工作负载的底层通信基础，分析了网络和存储 I/O 的瓶颈。
• 设计并评估了一个采用异构硬件（CPU、GPU 和 AI 加速器）的专用边缘数据中心，以优化 AI 工作负载。
• 在相同 AI 工作负载条件下，对比了同构服务器集群与专用边缘数据中心的 TCO。

实验结果

研究问题

• RQ1 在端到端 AI 推理流水线中，除 AI 核心计算外，导致延迟和资源开销的主要来源是什么？
• RQ2 预处理和后处理阶段如何影响以 AI 为中心的应用中的系统整体性能和基础设施成本？
• RQ3 随着边缘数据中心中 AI 加速的提升，存储和网络 I/O 在多大程度上会成为瓶颈？
• RQ4 专用异构边缘数据中心是否能实现比同构服务器部署更低的总拥有成本（TCO）？
• RQ5 使用 Apache Kafka 等标准通信框架如何影响流式 AI 应用中的端到端延迟和资源利用率？

主要发现

• 预处理和后处理阶段占用了总请求延迟的显著部分，且严重依赖 CPU，尽管有 AI 加速，仍构成主要性能瓶颈。
• 在 AI 加速工作负载中，尤其是高吞吐量流式处理场景下，存储和网络带宽成为主要瓶颈。
• 使用 Apache Kafka 作为通信基础会引入可测量的代理等待时间，并增加系统延迟，尤其在高负载下更为明显。
• 即使采用高性能 AI 加速器，整体系统吞吐量仍受非 AI 组件限制，验证了“AI 税”的存在。
• 与同构服务器部署相比，专用异构边缘数据中心在相同 AI 工作负载下可将总拥有成本（TCO）降低 15%。
• 当基准测试仅关注 AI 核心性能时，端到端应用性能被显著低估，凸显了进行整体性、全栈评估的必要性。