[论文解读] Asymptotically optimal delay-aware scheduling in wireless networks

Saad Kriouile, Maialen Larrañaga+1 more|arXiv (Cornell University)|Jul 1, 2018

Advanced Bandit Algorithms Research参考文献 14被引用 4

一句话总结

本文提出了一种基于索引的启发式调度策略，用于具有队列感知信道分配的无线网络，采用惠特尔索引方法求解一个 restless bandit 问题。证明了在大规模用户场景下的渐近最优性，并展示了出色的数值性能。

ABSTRACT

In this paper, we investigate a channel allocation problem in networks taking into account the queues of users. Typically, there are less available channels than users, and at each slot the channels are allocated to users in such a way to minimize the total average queues in the network. We show that the problem falls in the framework of Restless Bandit Problems (RBP), for which obtaining the optimal solution is out of reach. This problem is analyzed in this paper using Whittle index approach. First, using the Lagrangian relaxation method, we provide a relaxed problem and show that it can be decomposed into simpler one-dimensional subproblems for which the optimal solution is a threshold-based policy. This allows us to characterize Whittle's indices for these one-dimensional systems and to develop an index-based heuristic policy for the original scheduling problem. We prove that this heuristic is asymptotically optimal in the infinitely many users regime and provide numerical results that illustrate its remarkably good performance.

研究动机与目标

• 解决在信道资源有限且队列拥塞动态变化的无线网络中调度用户的问题。
• 将信道分配问题形式化为一个 restless bandit 问题（RBP），该问题在计算上难以求得最优解。
• 通过拉格朗日松弛法构建一个可处理的松弛问题，将原问题分解为一维子问题。
• 为单个用户队列刻画惠特尔索引，以支持基于索引的调度。
• 设计一种启发式策略，证明其在用户数量趋于无穷大时具有渐近最优性。

提出的方法

• 应用拉格朗日松弛法，将原始的受约束 RBP 转化为可分解的松弛问题。
• 将松弛后的问题分解为每个用户队列独立的一维马尔可夫决策过程（MDP）。
• 为每个一维 MDP 推导出基于阈值的最优策略，从而实现对惠特尔索引的解析表征。
• 基于计算出的惠特尔索引构建启发式调度策略，优先调度索引值较高的用户。
• 利用索引策略根据当前队列状态和索引值，在每个时隙进行信道分配。
• 在信道状态独立同分布的假设下，证明了该索引策略在用户数量趋于无穷大时的渐近最优性。

实验结果

研究问题

• RQ1 能否为资源受限的队列感知无线网络设计一种可处理的调度策略？
• RQ2 如何对调度问题的不可解的 restless bandit 形式进行松弛与分解，以实现实际求解？
• RQ3 松弛后的一维子问题的最优策略具有何种结构？该结构能否用于定义有意义的索引？
• RQ4 基于索引的启发式策略是否在大规模用户场景下达到渐近最优？
• RQ5 在实际应用中，所提出的索引策略性能如何与其他启发式方法比较？

主要发现

• 松弛后的问题可分解为独立的一维 MDP，每个问题均存在基于阈值的最优策略。
• 一维系统中的惠特尔索引可被解析表征，从而支持基于索引的调度。
• 所提出的基于索引的启发式策略在用户数趋于无穷大时被证明具有渐近最优性。
• 数值结果表明，该启发式策略在有限用户场景下也表现极为出色，优于基线策略。
• 该方法为经典难解的队列感知无线网络调度问题提供了一种可扩展且实用的解决方案。