[论文解读] Challenges and Opportunities to Enable Large-Scale Computing via Heterogeneous Chiplets

Zhuoping Yang, Shixin Ji+5 more|arXiv (Cornell University)|Nov 28, 2023

Modular Robots and Swarm Intelligence被引用 6

一句话总结

本文研究了通过异构小芯片架构支持大规模人工智能工作负载（尤其是生成式人工智能和大语言模型）所面临的挑战与机遇。提出了一套统一的软件栈与软硬件协同设计框架，以解决互连、安全性和编程抽象等问题，强调在多供应商小芯片系统中实现性能、成本效率与可扩展性。

ABSTRACT

Fast-evolving artificial intelligence (AI) algorithms such as large language models have been driving the ever-increasing computing demands in today's data centers. Heterogeneous computing with domain-specific architectures (DSAs) brings many opportunities when scaling up and scaling out the computing system. In particular, heterogeneous chiplet architecture is favored to keep scaling up and scaling out the system as well as to reduce the design complexity and the cost stemming from the traditional monolithic chip design. However, how to interconnect computing resources and orchestrate heterogeneous chiplets is the key to success. In this paper, we first discuss the diversity and evolving demands of different AI workloads. We discuss how chiplet brings better cost efficiency and shorter time to market. Then we discuss the challenges in establishing chiplet interface standards, packaging, and security issues. We further discuss the software programming challenges in chiplet systems.

研究动机与目标

• 应对由大语言模型和生成式人工智能推动的数据中心对高性能、高能效计算日益增长的需求。
• 通过跨多个供应商的异构小芯片集成，克服单片ASIC和传统加速器的局限性。
• 识别并解决小芯片系统中的关键软硬件挑战，包括互连标准、封装、安全性和编程抽象。
• 提出统一的软件基础设施，以实现在异构小芯片之间可移植、高效且可扩展的应用部署。
• 通过模块化、可重用的小芯片设计与标准化接口，实现更快的上市速度和更高的成本效益。

提出的方法

• 利用算术强度和计算-通信（CTC）比率分析人工智能工作负载，以表征BERT和GPT等模型的数据移动与计算需求。
• 提出硬件级解决方案，例如集成传感器和PUF的HSM（硬件安全模块）小芯片，用于防护侧信道攻击和故障注入攻击。
• 提出CSIP（小芯片间安全互连协议），通过加密模块实现在小芯片之间的加密、认证通信。
• 评估软件栈选项，包括SYCL、oneAPI、MLIR、ScaleHLS和HeteroCL，以实现异构小芯片间的统一、可移植编程。
• 提出通信感知的映射与协同设计框架（如H2H、CHARM），以优化工作负载映射与系统级性能。
• 倡导为小芯片系统量身定制的自动化设计空间探索（DSE）工具，使非专家开发者也能实现高性能FPGA和加速器代码。

实验结果

研究问题

• RQ1 如何有效编排异构小芯片，以满足如大语言模型推理与训练等多样化且不断演变的人工智能工作负载需求？
• RQ2 在多供应商小芯片互连中，关键的硬件级挑战是什么？如何通过标准化接口和先进封装技术加以解决？
• RQ3 在存在物理访问风险的场景下，特别是在多租户数据中心环境中，如何确保小芯片系统的安全性？
• RQ4 哪些软件抽象和编程模型最能有效支持在异构小芯片之间实现可移植、高性能的代码？
• RQ5 自动化设计空间探索与协同设计框架如何提升小芯片系统中的性能并降低开发复杂度？

主要发现

• 基于小芯片的系统将设计周期从单片ASIC的数年缩短至数月，成本从数百万美元降低至数千美元，显著提升了上市速度与成本效益。
• GPT-2的算术强度仅为2，而BERT-Large高达266，表明其在通信与计算需求上存在巨大差异，因此必须采用工作负载感知的硬件设计。
• CTC比率在不同模型和层之间差异显著，其中矩阵乘法为计算密集型，而Softmax运算则高度依赖数据移动，需针对性地优化内存与带宽。
• 集成传感器和PUF的HSM小芯片可检测探测与故障注入攻击，并支持运行时安全策略更新，以应对零日威胁。
• CSIP可实现小芯片间的认证加密通信，但其有效性依赖于可信供应商和加密硬件。
• 统一编程框架如oneAPI和MLIR（如ScaleHLS、HeteroCL）在实现异构小芯片间可移植、高性能代码方面展现出潜力，但端到端互操作性仍是开放挑战。