[论文解读] Learning Augmented Index Policy for Optimal Service Placement at the Network Edge

Guojun Xiong, Rahul Singh+1 more|arXiv (Cornell University)|Jan 10, 2021

Age of Information Optimization参考文献 54被引用 6

一句话总结

本文提出了一种学习增强型 Whittle 索引策略，用于在网络边缘实现最优服务部署，以最小化服务交付时延。通过利用单服务 MDP 的阈值结构并推导出显式的 Whittle 索引，该研究提出了 UCB-Whittle 和 Q-learning-Whittle 算法，实现了较低的学习遗憾并收敛至最优性能，在模拟实验中显著优于标准强化学习基线方法，且具有可证明的保证。

ABSTRACT

We consider the problem of service placement at the network edge, in which a decision maker has to choose between $N$ services to host at the edge to satisfy the demands of customers. Our goal is to design adaptive algorithms to minimize the average service delivery latency for customers. We pose the problem as a Markov decision process (MDP) in which the system state is given by describing, for each service, the number of customers that are currently waiting at the edge to obtain the service. However, solving this $N$-services MDP is computationally expensive due to the curse of dimensionality. To overcome this challenge, we show that the optimal policy for a single-service MDP has an appealing threshold structure, and derive explicitly the Whittle indices for each service as a function of the number of requests from customers based on the theory of Whittle index policy. Since request arrival and service delivery rates are usually unknown and possibly time-varying, we then develop efficient learning augmented algorithms that fully utilize the structure of optimal policies with a low learning regret. The first of these is UCB-Whittle, and relies upon the principle of optimism in the face of uncertainty. The second algorithm, Q-learning-Whittle, utilizes Q-learning iterations for each service by using a two time scale stochastic approximation. We characterize the non-asymptotic performance of UCB-Whittle by analyzing its learning regret, and also analyze the convergence properties of Q-learning-Whittle. Simulation results show that the proposed policies yield excellent empirical performance.

研究动机与目标

• 为解决在请求和服务速率未知且时变的资源受限边缘网络中最小化平均服务交付时延的挑战。
• 通过利用单服务最优策略的阈值结构，克服求解全 N 服务马尔可夫决策过程（MDP）时的维度灾难问题。
• 设计利用 Whittle 索引策略结构特性的学习增强型强化学习算法，以实现高效且自适应的服务部署。
• 为所提出的算法在随机、部分可观测环境中的有限时间性能提供保证，例如学习遗憾边界。

提出的方法

• 将服务部署问题建模为连续时间 MDP，其中状态由边缘节点上每种服务的等待客户数量定义。
• 证明单服务最优策略具有阈值结构，并基于请求率和服务率推导出 Whittle 索引的闭式表达式。
• 设计 UCB-Whittle，一种基于 UCB 的算法，利用面对不确定性时的乐观性来平衡未知系统参数学习中的探索与利用。
• 开发 Q-learning-Whittle，一种双时间尺度随机逼近算法，在学习每种服务的 Q 值的同时，利用 Whittle 索引结构以提升收敛性。
• 将 Whittle 索引的结构洞察融入学习过程，以减小有效状态空间，避免标准 RL 方法的指数级扩展。
• 分析 UCB-Whittle 的非渐近学习遗憾以及 Q-learning-Whittle 的收敛性，确保理论性能保证。

实验结果

研究问题

• RQ1 单服务的最优服务部署策略是否可由阈值结构表征？其 Whittle 索引能否以闭式表达？
• RQ2 当请求率和服务率未知且时变时，如何在学习设置中适应 Whittle 索引策略？
• RQ3 UCB-Whittle 是否能通过利用 Whittle 索引结构实现较低的学习遗憾？其遗憾随服务数量的扩展关系如何？
• RQ4 在双时间尺度随机逼近下，Q-learning-Whittle 是否能收敛至最优策略？其在实际中与标准 Q-learning 的表现相比如何？
• RQ5 利用结构洞察的学习增强型算法是否能在时延和学习效率方面优于标准 RL 基线方法（如 ε-贪婪 Q-learning）？

主要发现

• UCB-Whittle 的学习遗憾随时间呈次线性增长，表明其在利用 Whittle 索引结构的同时，能高效学习未知系统参数。
• Q-learning-Whittle 在双时间尺度随机逼近下收敛至最优策略，且学习过程具有收敛性的理论保证。
• 随着 episode 数量的增加，UCB-Whittle 和 Q-learning-Whittle 的期望成本均方误差（MSE）收敛至真实的 Whittle 索引值。
• 仿真结果表明，两种所提算法在时延降低和学习效率方面均显著优于传统的 ε-贪婪 Q-learning 基线方法。
• 在服务数量较多时，UCB-Whittle 略优于 Q-learning-Whittle，但两者均保持优异性能并具备渐近最优性。
• 两种算法的性能随服务数量的增加而单调提升，表明其在大规模边缘网络中具备可扩展性和鲁棒性。