[论文解读] EnergonAI: An Inference System for 10-100 Billion Parameter Transformer Models

Jiangsu Du, Ziming Liu+5 more|arXiv (Cornell University)|Sep 6, 2022

Parallel Computing and Optimization Techniques被引用 4

一句话总结

EnergonAI 是一个高性能、可编程的推理系统，适用于 100B 到 1000B 参数的 Transformer 模型，通过一种新颖的分层控制器架构统一了张量并行与流水线并行。它通过非阻塞流水线并行、分布式冗余计算消除以及对等内存池化技术，实现了更低的延迟和更高的吞吐量，在可变长度推理中优于 FasterTransformer，并能在单张 GPU 上以极低的性能损耗支持更大规模模型的推理。

ABSTRACT

Large transformer models display promising performance on a wide range of natural language processing (NLP) tasks. Although the AI community has expanded the model scale to the trillion parameter level, the practical deployment of 10-100 billion parameter models is still uncertain due to the latency, throughput, and memory constraints. In this paper, we proposed EnergonAI to solve the challenges of the efficient deployment of 10-100 billion parameter transformer models on single- or multi-GPU systems. EnergonAI adopts a hierarchy-controller system architecture to coordinate multiple devices and efficiently support different parallel patterns. It delegates the execution of sub-models to multiple workers in the single-controller style and applies tensor parallelism and pipeline parallelism among the workers in a multi-controller style. Upon the novel architecture, we propose three techniques, i.e. non-blocking pipeline parallelism, distributed redundant computation elimination, and peer memory pooling. EnergonAI enables the users to program complex parallel code the same as a serial one. Compared with the FasterTransformer, we have proven that EnergonAI has superior performance on latency and throughput. In our experiments, EnergonAI can achieve 37% latency reduction in tensor parallelism, 10% scalability improvement in pipeline parallelism, and it improves the model scale inferred on a single GPU by using a larger heterogeneous memory space at cost of limited performance reduction.

研究动机与目标

• 解决在多 GPU 系统上部署大规模 Transformer 模型（100B 到 1000B 参数）时存在的性能与可编程性差距。
• 克服现有推理系统过于紧耦合（如 C++/CUDA 内核）或从训练系统低效适配的局限性。
• 设计一种支持张量并行与流水线并行的系统，具备低通信开销与高可扩展性。
• 使用户能够编写类似串行的代码，同时在异构内存与分布式设备上实现高性能。
• 通过高效管理 GPU 与对等设备内存，突破大规模模型推理中的内存墙，而不牺牲延迟或吞吐量。

提出的方法

• 提出一种分层控制器系统架构，结合集中式引擎与分布式运行时，协调多 GPU 推理。
• 通过异步执行与流水线通信实现非阻塞流水线并行，减少空闲时间并提升吞吐量。
• 引入分布式冗余计算消除机制，避免流水线阶段中的冗余前向传播，降低计算开销。
• 设计对等内存池化（PMEP），将模型层卸载到对等 GPU 而非 CPU，实现计算与通信的更好重叠。
• 采用静态卸载策略结合预取技术，最小化通信延迟并保持高 GPU 利用率。
• 支持单控制器与多控制器执行模式，灵活处理统一编程模型下的张量与流水线并行。

实验结果

研究问题

• RQ1 如何高效协调多个 GPU，实现对 100B 到 1000B 参数 Transformer 模型的低延迟、高吞吐量推理？
• RQ2 何种架构设计能够在从训练系统迁移时，同时实现高可编程性与高性能，特别是在大规模模型推理中？
• RQ3 如何在不牺牲正确性或效率的前提下，消除分布式工作节点间流水线并行中的冗余计算？
• RQ4 在不引入高通信开销的前提下，对等 GPU 内存可被利用到何种程度，以扩展单张 GPU 上的有效模型大小？
• RQ5 在可变长度与大规模推理场景中，该系统是否能实现优于现有框架（如 FasterTransformer）的可扩展性与更低延迟？

主要发现

• 在固定长度输入的张量并行实验中，EnergonAI 相较于 FasterTransformer 将延迟降低了 37%。
• 在流水线并行中，EnergonAI 的可扩展性比 FasterTransformer 提高 10%，展现出更优的负载均衡与通信效率。
• 借助对等内存池化（PMEP），当将层卸载到对等 GPU 时，EnergonAI 即使在模型规模扩大至两倍的情况下，本地 GPU 吞吐量仅下降 2.3%–3.9%。
• 相比之下，BMInf 中的 CPU 卸载因通信与计算比过高，导致吞吐量最高下降 81%；而 EnergonAI 的 PMEP 实现了近乎透明的卸载，延迟表现更优。
• 通过利用异构内存空间，EnergonAI 使单张 GPU 上的模型推理规模扩大至两倍，仅带来有限的性能下降。
• 在可变长度推理中，EnergonAI 凭借对动态序列长度与通信调度的更好处理，表现优于 FasterTransformer。