[论文解读] EdgeSlice: Slicing Wireless Edge Computing Network with Decentralized Deep Reinforcement Learning

Qiang Liu, Tao Han+1 more|arXiv (Cornell University)|Mar 28, 2020

Software-Defined Networks and 5G参考文献 38被引用 4

一句话总结

EdgeSlice 提出了一种用于无线边缘计算网络中动态端到端网络切片的去中心化深度强化学习（D-DRL）框架。它采用一个中央性能协调器和多个去中心化编排代理，对无线、传输和计算域的资源分配进行优化，在SLA符合率、可扩展性和性能方面显著优于基线方法（如TARO）。

ABSTRACT

5G and edge computing will serve various emerging use cases that have diverse requirements of multiple resources, e.g., radio, transportation, and computing. Network slicing is a promising technology for creating virtual networks that can be customized according to the requirements of different use cases. Provisioning network slices requires end-to-end resource orchestration which is challenging. In this paper, we design a decentralized resource orchestration system named EdgeSlice for dynamic end-to-end network slicing. EdgeSlice introduces a new decentralized deep reinforcement learning (D-DRL) method to efficiently orchestrate end-to-end resources. D-DRL is composed of a performance coordinator and multiple orchestration agents. The performance coordinator manages the resource orchestration policies in all the orchestration agents to ensure the service level agreement (SLA) of network slices. The orchestration agent learns the resource demands of network slices and orchestrates the resource allocation accordingly to optimize the performance of the slices under the constrained networking and computing resources. We design radio, transport and computing manager to enable dynamic configuration of end-to-end resources at runtime. We implement EdgeSlice on a prototype of the end-to-end wireless edge computing network with OpenAirInterface LTE network, OpenDayLight SDN switches, and CUDA GPU platform. The performance of EdgeSlice is evaluated through both experiments and trace-driven simulations. The evaluation results show that EdgeSlice achieves much improvement as compared to baseline in terms of performance, scalability, compatibility.

研究动机与目标

• 为解决无线边缘计算网络中具有多样化、异构服务需求的动态端到端资源编排挑战。
• 克服多域资源（无线、传输、计算）与切片性能之间缺乏闭式模型的问题。
• 实现在地理分布的基站和边缘服务器之间可扩展、高效且自适应的资源分配。
• 设计一种无需预先了解性能函数的无模型、去中心化学习框架，以维持服务等级协议（SLA）符合性。
• 实现并评估一个原型系统，支持在O-RAN、SDN和GPU平台之间运行时重新配置网络切片。

提出的方法

• EdgeSlice 采用包含中央性能协调器和多个分布式编排代理的去中心化深度强化学习（D-DRL）架构。
• 性能协调器通过协调各代理之间的资源编排策略，确保SLA符合性。
• 每个编排代理使用深度强化学习学习最优资源分配策略，以适应动态切片需求和资源约束。
• 无线、传输和计算管理器根据编排动作实现运行时资源配置。
• 该系统在原型上实现，使用OpenAirInterface（OAI）进行无线接入，使用OpenDayLight（ODL）进行SDN控制的传输，使用CUDA加速的GPU平台进行边缘计算。
• D-DRL框架通过真实世界追踪驱动的仿真和物理原型网络进行训练与评估。

实验结果

研究问题

• RQ1 在具有动态、异构资源需求的无线边缘计算网络中，如何高效地编排端到端网络切片？
• RQ2 去中心化深度强化学习方法是否能在性能函数未知的情况下，优于集中式或启发式方法以维持SLA符合性？
• RQ3 随着网络切片和分布式基础设施组件数量的增加，该系统如何扩展？
• RQ4 流量和资源可用性的空间分布对切片性能和编排效率有何影响？
• RQ5 无模型强化学习在多域复杂权衡中，其有效性在多大程度上可被有效管理？

主要发现

• EdgeSlice 在复杂、非线性的性能函数场景下，相较于基线方法TARO，实现了显著的性能提升。
• 该系统在不同网络拓扑和切片工作负载下表现出卓越的可扩展性和兼容性。
• 去中心化的D-DRL方法在无需闭式性能模型的情况下，维持了SLA符合性，同时实现了动态、实时的资源自适应。
• 追踪驱动的仿真和原型评估结果表明，EdgeSlice 在不同流量条件下有效降低了性能退化并提升了资源利用率。
• 性能协调器有效协调多个代理，确保全局SLA遵循，同时保持本地决策自主性。
• 该系统在处理多样化服务需求方面表现出鲁棒性，包括无线、传输和计算域中的低时延和高吞吐量用例。