[论文解读] Max Weight Learning Algorithms with Application to Scheduling in Unknown Environments

Michael J. Neely|ArXiv.org|Feb 4, 2009

Advanced Wireless Network Optimization参考文献 18被引用 7

一句话总结

本文提出了一种用于未知随机环境中的随机调度的极大权重学习算法，其中系统参数仅在初始控制决策后才被揭示。通过平均过去的结果，该算法在收敛速度与延迟之间实现了可调的权衡，即使在缺乏信道或状态分布先验知识的情况下，也能实现近似最优性能。

ABSTRACT

We consider a discrete time stochastic queueing system where a controller makes a 2-stage decision every slot. The decision at the first stage reveals a hidden source of randomness with a control-dependent (but unknown) probability distribution. The decision at the second stage incurs a penalty vector that depends on this revealed randomness. The goal is to stabilize all queues and minimize a convex function of the time average penalty vector subject to an additional set of time average penalty constraints. This setting fits a wide class of stochastic optimization problems. This includes problems of opportunistic scheduling in wireless networks, where a 2-stage decision about channel measurement and packet transmission must be made every slot without knowledge of the underlying transmission success probabilities. We develop a simple max-weight algorithm that learns efficient behavior by averaging functionals of previous outcomes. The algorithm yields performance that can be pushed arbitrarily close to optimal, with a tradeoff in convergence time and delay.

研究动机与目标

• 解决随机队列系统中的调度挑战，其中随机系统参数的分布未知。
• 设计一种控制策略，在满足线性约束条件下，稳定队列并最小化时间平均惩罚的凸函数。
• 在两阶段系统中实现高效决策——首先选择一个揭示隐藏随机性的动作，然后根据揭示的状态选择后续动作。
• 在缺乏对底层概率分布知识的情况下，实现与最优性能任意接近的结果。
• 为复杂系统（如具有相关信道或多商品路由的无线网络）提供可扩展的解决方案，其中传统估计方法不可行。

提出的方法

• 建立两阶段决策过程：首先从有限集合 $\mathcal{K}$ 中选择阶段1动作 $k(t)$，然后观察具有未知分布 $F_k(\boldsymbol{\omega})$ 的随机向量 $\boldsymbol{\omega}(t)$。
• 在观察到 $\boldsymbol{\omega}(t)$ 后，从抽象集合 $\mathcal{I}$ 中选择阶段2动作 $I(t)$，该动作通过已知函数 $\hat{x}_m(k(t), \boldsymbol{\omega}(t), I(t))$ 确定一个 $M$ 维惩罚向量 $\boldsymbol{x}(t)$。
• 开发一种极大权重学习算法，维护惩罚泛函的时间平均估计，并利用这些估计指导决策，避免显式估计分布。
• 引入带有虚拟队列的李雅普诺夫优化框架以处理约束，确保时间平均约束的稳定性和可行性。
• 使用随机权重更新机制 $W(t) = \min[\hat{W}(t), W_{\text{rand}}(t)]$，其中 $\hat{W}(t) = (t+1)^{\beta_1}$，以平衡收敛速度与延迟。
• 证明该算法实现了 $O(1/V)$ 的最优性间隙和 $O(\log V)$ 的延迟，且随着 $V$ 增大，收敛至近似最优性能。

实验结果

研究问题

• RQ1 基于学习的极大权重算法是否能在缺乏对底层概率分布先验知识的情况下，实现随机调度系统中的近似最优性能？
• RQ2 当第一阶段动作揭示具有未知分布的隐藏随机性时，如何优化两阶段决策？
• RQ3 此类基于学习的控制策略中，收敛时间、延迟与最优性间隙之间的权衡是什么？
• RQ4 该算法是否能在学习未知系统统计特性的同时，保持队列稳定并满足时间平均约束？
• RQ5 随机权重更新机制 $W(t)$ 如何影响收敛性和性能保证？

主要发现

• 所提算法在最小化时间平均惩罚向量的凸函数时，实现了 $O(1/V)$ 的最优性间隙，其中 $V$ 为控制参数。
• 即使系统状态的联合分布未知，该算法也能确保队列稳定性和时间平均线性约束的满足。
• 收敛至近似最优性能是保证的，延迟按 $O\left(\log V\right)$ 缩放，通过增大 $V$ 可使其任意减小。
• 该算法避免了对高维信道状态分布的显式估计，因此可扩展至具有相关信道和大状态空间的系统。
• 使用随机权重 $W(t)$ 确保 $\lim_{t\to\infty} \text{Pr}[W(t) \neq \hat{W}(t)] = 0$，从而实现紧密的性能边界。
• 理论分析证明，李雅普诺夫漂移的期望值受 $O(1/\sqrt{\hat{W}(t)})$ 衰减项的有界控制，从而保证收敛至最优解。