[论文解读] Constrained Thompson Sampling for Wireless Link Optimization

Vidit Saxena, Joseph E. Gonzalez+3 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Bandit Algorithms Research参考文献 26被引用 4

一句话总结

本文提出 Con-TS，一种用于无线链路速率选择的约束型 Thompson Sampling 算法，能够在最大化吞吐量的同时满足概率性时延约束。通过将时延建模为高概率线性约束，并结合贝叶斯后验采样与线性规划松弛，Con-TS 实现了 $O(\sqrt{KT})$ 的期望约束违规次数和 $O(\sqrt{KT\log K})$ 的遗憾，相较于现有最先进 bandit 方法，在多样化无线环境的仿真中表现更优。

ABSTRACT

Wireless communication systems operate in complex time-varying environments. Therefore, selecting the optimal configuration parameters in these systems is a challenging problem. For wireless links, \emph{rate selection} is used to select the optimal data transmission rate that maximizes the link throughput subject to an application-defined latency constraint. We model rate selection as a stochastic multi-armed bandit (MAB) problem, where a finite set of transmission rates are modeled as independent bandit arms. For this setup, we propose Con-TS, a novel constrained version of the Thompson sampling algorithm, where the latency requirement is modeled by a high-probability linear constraint. We show that for Con-TS, the expected number of constraint violations over T transmission intervals is upper bounded by O(\sqrt{KT}), where K is the number of available rates. Further, the expected loss in cumulative throughput compared to the optimal rate selection scheme (i.e., the egret is also upper bounded by O(\sqrt{KT \log K}). Through numerical simulations, we demonstrate that Con-TS significantly outperforms state-of-the-art bandit schemes for rate selection.

研究动机与目标

• 为解决在尊重应用级时延约束的前提下优化无线链路吞吐量的挑战。
• 将速率选择建模为带有概率线性约束的受限多臂赌博机问题，该约束针对分组成功概率。
• 提出一种基于 Thompson Sampling 的新型算法（Con-TS），能够高效处理软约束，并提供有限时间性能保证。
• 通过仿真证明，Con-TS 在吞吐量-违规率比和约束违规次数方面优于现有 bandit 算法（如 UTS 和 Con-KL-UCB）。
• 表明将该公式化为松弛的背包问题可实现高效、多项式时间的优化，并可广泛应用于其他无线优化问题。

提出的方法

• 将速率选择建模为具有 K 个传输速率作为动作的随机多臂赌博机问题。
• 将时延约束建模为分组成功概率上的高概率线性约束，以确保最低可接受的可靠性水平。
• 对问题的背包公式应用线性规划松弛，以实现可行策略的高效计算。
• 提出 Con-TS，即 Thompson Sampling 的一种概率约束变体，其在采样后验分布时以高概率满足约束。
• 使用贝叶斯更新随时间逐步优化各速率的成功概率与吞吐量估计。
• 集成一种无需先验知识的独立设计，确保在有限时间内实现遗憾与违规次数的有界性。

实验结果

研究问题

• RQ1 能否有效将基于 Thompson Sampling 的算法适配于处理无线速率选择中的概率线性约束？
• RQ2 在时延约束的多臂赌博机设置中，约束违规与遗憾的有限时间性能边界是什么？
• RQ3 在吞吐量与约束合规性方面，Con-TS 与最先进的 bandit 算法（如 UTS 和 Con-KL-UCB）相比表现如何？
• RQ4 在何种无线传播环境中，Con-TS 展现出更优的鲁棒性与性能？
• RQ5 能否有效利用带 LP 松弛的背包公式来建模并求解时延约束下的速率选择问题？

主要发现

• Con-TS 在 $T$ 个传输间隔内，期望累积约束违规次数的上界为 $O(\sqrt{KT})$。
• Con-TS 的期望遗憾被限制在 $O(\sqrt{KT\log K})$ 以内，表明其能快速收敛至最优速率策略。
• 在渐变（Gradual）、损耗（Lossy）和线性（Linear）WiFi 环境中，Con-TS 的吞吐量-违规率比约为次优算法 UTS 的两倍。
• 在渐变环境中，Con-TS 累积的约束违规次数不足竞争算法的一半，展现出极强的约束遵守能力。
• 在陡峭（Steep）环境中，由于成功概率较高，约束条件几乎总是满足，Con-TS 表现与 UTS 和 Con-KL-UCB 相当，三者均保持了较低的违规次数。
• 在所有场景中，Con-TS 均能保持极低的约束违规次数，而 UTS（无约束）在非平凡环境中表现出线性增长的违规率。