[论文解读] Heuristic and Reinforcement Learning Algorithms for Dynamic Service Placement on Mobile Edge Cloud

Dhruv Garg, Nanjangud C. Narendra+1 more|arXiv (Cornell University)|Oct 30, 2021

IoT and Edge/Fog Computing被引用 7

一句话总结

本文提出并评估了三种动态服务部署算法——两种启发式算法（集合覆盖贪心法与整数规划法）和一种基于强化学习的算法——适用于移动边缘云环境。结果表明，尽管基于学习的算法在部署质量上表现更优，但在时间与确定性约束下，启发式方法依然有效，为实际部署提供了实用的权衡方案。

ABSTRACT

Edge computing hosts applications close to the end users and enables low-latency real-time applications. Modern applications inturn have adopted the microservices architecture which composes applications as loosely coupled smaller components, or services. This complements edge computing infrastructure that are often resource constrained and may not handle monolithic applications. Instead, edge servers can independently deploy application service components, although at the cost of communication overheads. Consistently meeting application service level objectives while also optimizing application deployment (placement and migration of services) cost and communication overheads in mobile edge cloud environment is non-trivial. In this paper we propose and evaluate three dynamic placement strategies, two heuristic (greedy approximation based on set cover, and integer programming based optimization) and one learning-based algorithm. Their goal is to satisfy the application constraints, minimize infrastructure deployment cost, while ensuring availability of services to all clients and User Equipment (UE) in the network coverage area. The algorithms can be extended to any network topology and microservice based edge computing applications. For the experiments, we use the drone swarm navigation as a representative application for edge computing use cases. Since access to real-world physical testbed for such application is difficult, we demonstrate the efficacy of our algorithms as a simulation. We also contrast these algorithms with respect to placement quality, utilization of clusters, and level of determinism. Our evaluation not only shows that the learning-based algorithm provides solutions of better quality; it also provides interesting conclusions regarding when the (more traditional) heuristic algorithms are actually better suited.

研究动机与目标

• 解决移动边缘计算中动态服务部署的挑战，其中网络条件波动和用户移动性使得低延迟应用交付变得复杂。
• 在确保服务可用性并满足服务等级目标（SLOs）的前提下，最小化基础设施成本与通信开销。
• 将真实世界的移动网络动态特性——如用户移动性、网络拥塞及边缘资源限制——纳入服务部署决策过程。
• 对启发式与学习型算法进行对比评估，以指导实践者根据部署约束选择最优策略。
• 通过仿真环境下的真实无人机群导航用例，验证所提算法的有效性，鉴于物理测试平台资源有限。

提出的方法

• 设计一种集合覆盖贪心启发式算法，优先选择能覆盖最多用户设备（UE）和服务依赖关系的边缘节点，以最小化复制与通信成本。
• 实现一种基于整数规划的优化模型，将服务部署建模为混合整数线性规划（MILP），在资源与SLO约束下最小化总部署成本。
• 设计一种基于深度Q网络（DQN）架构的强化学习（RL）智能体，通过与模拟移动边缘环境交互学习最优部署决策。
• 定义RL的状态空间，包含网络负载、UE分布、边缘服务器容量及服务依赖关系；动作空间包括部署、复制与迁移决策。
• 设计一种奖励函数，平衡SLO合规性、基础设施成本与通信开销，以指导策略学习。
• 在动态UE移动与可变网络条件的条件下，模拟无人机群导航用例，评估三种算法在真实工作负载下的表现。

实验结果

研究问题

• RQ1 在部署质量、成本效率与确定性方面，启发式与基于强化学习的服务部署算法有何差异？
• RQ2 在时间或资源受限的场景下，为何更简单的启发式算法会优于更复杂的基于学习的方法？
• RQ3 在动态移动边缘环境中，与传统优化方法和贪心启发式相比，强化学习能在多大程度上提升服务部署质量？
• RQ4 在波动的网络条件与用户移动性下，所提算法在维持SLO合规性方面表现如何？
• RQ5 在选择启发式与学习型部署策略时，解决方案质量、执行时间与确定性之间的权衡是什么？

主要发现

• 基于强化学习的算法在部署质量上表现最佳，相比启发式方法，能更一致地满足SLO要求，同时通信开销与基础设施成本更低。
• 基于整数规划的启发式方法提供了最确定性的结果，尽管执行时间较长，但适用于对解决方案可重现性要求较高的场景。
• 集合覆盖贪心启发式算法在性能与速度之间实现了良好平衡，适用于对时间敏感、可接受近似最优结果的部署场景。
• 尽管解决方案质量较低，贪心启发式算法在执行速度上优于整数规划方法，凸显其在延迟敏感环境中的价值。
• 学习型方法在应对动态变化（如UE移动性与网络拥塞）方面表现出更强的适应性，能从历史模式中学习以优化长期部署决策。
• 研究结果表明，启发式算法并未过时；当需要确定性、低延迟或可预测执行时，即使牺牲部分最优性，它们依然具有可行性，甚至更优。