[论文解读] How Can AI be Distributed in the Computing Continuum? Introducing the Neural Pub/Sub Paradigm

Lauri Lovén, Roberto Morabito+4 more|arXiv (Cornell University)|Sep 5, 2023

Brain Tumor Detection and Classification被引用 5

一句话总结

本文提出了神经发布/订阅（Neural Pub/Sub）范式，这是一种去中心化、事件驱动的框架，用于在计算连续体中编排人工智能工作流。通过利用具有神经网络感知能力的发布/订阅消息传递机制，该框架实现了在边缘、雾和云资源之间对训练、微调和推理工作负载的可扩展、弹性且动态的分发，显著提升了在5G支持的、人工智能密集型环境中的资源利用率和系统响应能力。

ABSTRACT

This paper proposes the neural publish/subscribe paradigm, a novel approach to orchestrating AI workflows in large-scale distributed AI systems in the computing continuum. Traditional centralized broker methodologies are increasingly struggling with managing the data surge resulting from the proliferation of 5G systems, connected devices, and ultra-reliable applications. Moreover, the advent of AI-powered applications, particularly those leveraging advanced neural network architectures, necessitates a new approach to orchestrate and schedule AI processes within the computing continuum. In response, the neural pub/sub paradigm aims to overcome these limitations by efficiently managing training, fine-tuning and inference workflows, improving distributed computation, facilitating dynamic resource allocation, and enhancing system resilience across the computing continuum. We explore this new paradigm through various design patterns, use cases, and discuss open research questions for further exploration.

研究动机与目标

• 解决大规模、分布式系统中集中式人工智能编排的可扩展性和延迟挑战，这些系统面临来自5G和物联网设备的海量数据流。
• 克服传统基于代理的系统在管理异构边缘、雾和云基础设施中动态、高吞吐量人工智能工作负载时的局限性。
• 实现在计算连续体中对人工智能流程（包括训练、微调和推理）的高效、弹性且自适应的调度。
• 通过解耦计算与刚性控制流，并引入智能感知的资源分配机制，支持超可靠、低延迟的人工智能应用。
• 为动态、事件驱动的人工智能编排提供基础，使其能够实时适应工作负载需求和资源可用性。

提出的方法

• 提出一种具有神经网络感知能力的发布/订阅消息模型，将人工智能模型更新、数据流和推理请求作为事件发布到解耦、可扩展的消息队列中。
• 将神经网络特征（例如模型大小、推理延迟、更新频率）整合到消息路由和订阅逻辑中，以优化资源分配。
• 设计一种支持地理分布部署的分布式事件代理架构，实现边缘和云节点间对人工智能服务的低延迟访问。
• 使用事件驱动触发机制，根据实时数据摄入和系统负载状况动态启动和扩展人工智能工作流。
• 支持细粒度的订阅策略，使客户端仅接收相关的人工智能输出或模型更新，从而减少网络开销并提高效率。
• 通过将人工智能任务建模为第一等事件，使其可根据实时性能和可用性指标进行重路由，实现工作负载迁移和负载均衡。

实验结果

研究问题

• RQ1 如何在计算连续体的异构、动态且去中心化的资源中高效编排人工智能工作负载？
• RQ2 哪些架构模式能够实现在5G和边缘环境中对人工智能训练、微调和推理的低延迟、可扩展且弹性的分发？
• RQ3 如何将事件驱动消息传递扩展为融合神经智能，以优化资源分配和工作负载调度？
• RQ4 在人工智能组件被分布到不可靠或易变的网络段时，哪些机制能确保系统的弹性与容错能力？
• RQ5 神经发布/订阅模型在处理高速度人工智能数据和动态工作负载方面，相比传统集中式代理有何优势？

主要发现

• 神经发布/订阅范式实现了人工智能工作流的动态、事件驱动编排，减少了对集中式代理的依赖，提升了系统的可扩展性。
• 通过将人工智能任务建模为带有神经感知元数据的事件，系统在边缘、雾和云层之间实现了更高效、更自适应的资源分配。
• 该架构通过去中心化控制和基于消息的协调，展现出更高的弹性，最大限度减少了单点故障。
• 智能订阅策略的使用减少了网络开销，确保仅传输相关的人工智能输出，从而提升了带宽效率。
• 通过基于实时系统反馈实现工作负载的实时迁移和负载均衡，该框架支持超可靠、低延迟的人工智能服务。
• 设计模式和用例展示了在5G和物联网环境中部署复杂人工智能工作负载的可行性，并提供了强大的性能和适应性保障。