[论文解读] Infrastructure for Artificial Intelligence, Quantum and High Performance Computing

William Gropp, Sujata Banerjee+1 more|arXiv (Cornell University)|Dec 16, 2020

Computability, Logic, AI Algorithms被引用 7

一句话总结

本文提出了一种统一的、整体性的计算基础设施，将高性能计算（HPC）、人工智能/机器学习（AI/ML）和量子计算（QC）整合在一起，以克服资源孤岛的局限性。通过在混合云、本地部署和量子资源之间实现互操作、可组合的工作流，该基础设施支持跨学科研究，并加速复杂、多阶段计算工作负载的创新。

ABSTRACT

High Performance Computing (HPC), Artificial Intelligence (AI)/Machine Learning (ML), and Quantum Computing (QC) and communications offer immense opportunities for innovation and impact on society. Researchers in these areas depend on access to computing infrastructure, but these resources are in short supply and are typically siloed in support of their research communities, making it more difficult to pursue convergent and interdisciplinary research. Such research increasingly depends on complex workflows that require different resources for each stage. This paper argues that a more-holistic approach to computing infrastructure, one that recognizes both the convergence of some capabilities and the complementary capabilities from new computing approaches, be it commercial cloud to Quantum Computing, is needed to support computer science research.

研究动机与目标

• 解决日益增长的集成计算资源需求，以支持HPC、AI/ML和QC领域的融合研究。
• 克服孤立、隔离的基础设施所带来的挑战，这些挑战阻碍了跨学科协作和复杂工作流的执行。
• 实现传统HPC、AI/ML工作负载与新兴量子计算平台之间的无缝互操作性。
• 支持利用各计算范式互补优势的混合式、可组合工作负载的开发。
• 倡导制定协调一致的、由社区推动的基础设施战略，以应对下一代科学与社会计算的不断演变的需求。

提出的方法

• 提出一种整体性基础设施模型，将HPC、AI/ML和QC作为单一生态系统内相互关联的组件统一起来。
• 将商用云服务与本地HPC集群及新兴的量子硬件集成，以实现灵活、按需的资源分配。
• 设计可组合的、以工作流为中心的执行环境，根据不同阶段的计算需求动态分配资源。
• 利用现有标准和中间件，确保异构系统之间的可移植性和互操作性。
• 推广使用应用程序编程接口（API）和编排工具，以简化跨范式工作流的组合。
• 倡导政策与资金支持，以支持此类统一基础设施的开发和持续运行。

实验结果

研究问题

• RQ1 如何将HPC、AI/ML和量子计算资源整合到一个统一的、可互操作的基础设施中，以支持跨学科研究？
• RQ2 哪些架构模式能够实现高效、可组合的工作流，覆盖传统HPC、AI/ML和量子工作负载？
• RQ3 在统一这些多样化计算范式的过程中，面临哪些关键技术与组织障碍？
• RQ4 如何扩展现有的HPC和云基础设施，以本原性地支持AI和量子工作负载，实现一体化？
• RQ5 需要何种治理与资金模式，以维持一个统一的、由社区驱动的下一代计算基础设施？

主要发现

• 统一的基础设施对于克服HPC、AI/ML和量子计算中孤立、资源孤岛的局限性至关重要。
• HPC、AI/ML和量子平台之间的互操作性，能够支持跨越不同计算模型的复杂、多阶段科学工作流。
• 结合云、本地HPC和量子资源的混合部署模式，为未来研究提供了最灵活、可扩展的基础。
• 将AI/ML和量子工作负载集成到现有HPC堆栈中，需要增强的中间件、API和编排工具。
• 社区范围的协调与持续投资，对于构建和维护一个连贯、可扩展的基础设施生态系统至关重要。
• 本文提出的白皮书框架已被计算社区联盟采纳，用于指导国家级基础设施规划与政策制定。