[论文解读] Aging Bandits: Regret Analysis and Order-Optimal Learning Algorithm for Wireless Networks with Stochastic Arrivals

Eray Unsal Atay, Igor Kadota+1 more|arXiv (Cornell University)|Dec 15, 2020

Age of Information Optimization被引用 10

一句话总结

本文在无线网络中提出了衰老老虎机（Aging Bandit）问题，其中学习算法需调度源-信道对以最小化信息年龄（AoI），且信道可靠性未知。该文提出一种新颖的学习算法，实现有界的 O(1) AoI regret——不同于传统多臂老虎机方法（如 UCB、Thompson Sampling）所导致的 Θ(log T) regret——使其成为首个在随机到达条件下实现 AoI 最小化的有限 regret 阶最优算法。

ABSTRACT

We consider a single-hop wireless network with sources transmitting time-sensitive information to the destination over multiple unreliable channels. Packets from each source are generated according to a stochastic process with known statistics and the state of each wireless channel (ON/OFF) varies according to a stochastic process with unknown statistics. The reliability of the wireless channels is to be learned through observation. At every time slot, the learning algorithm selects a single pair (source, channel) and the selected source attempts to transmit its packet via the selected channel. The probability of a successful transmission to the destination depends on the reliability of the selected channel. The goal of the learning algorithm is to minimize the Age-of-Information (AoI) in the network over $T$ time slots. To analyze the performance of the learning algorithm, we introduce the notion of AoI regret, which is the difference between the expected cumulative AoI of the learning algorithm under consideration and the expected cumulative AoI of a genie algorithm that knows the reliability of the channels a priori. The AoI regret captures the penalty incurred by having to learn the statistics of the channels over the $T$ time slots. The results are two-fold: first, we consider learning algorithms that employ well-known solutions to the stochastic multi-armed bandit problem (such as $\\epsilon$-Greedy, Upper Confidence Bound, and Thompson Sampling) and show that their AoI regret scales as $\\Theta(\\log T)$; second, we develop a novel learning algorithm and show that it has $O(1)$ regret. To the best of our knowledge, this is the first learning algorithm with bounded AoI regret.

研究动机与目标

• 解决在具有随机分组到达和不可靠信道（其可靠性未知）的单跳无线网络中最小化信息年龄（AoI）的挑战。
• 将调度问题建模为一种新颖的随机多臂老虎机变体——“衰老老虎机”（Aging Bandits），其中奖励取决于历史相关的 AoI 减少量。
• 以学习算法在累积 AoI 偏差方面与全知最优策略（即“向导策略”）的差异来分析 regret。
• 设计一种新学习算法，实现有界（O(1)）AoI regret，与标准老虎机策略的对数 regret 形式形成对比。
• 通过仿真表明，所提算法收敛更快且维持更低的 regret，尤其在高流量（大 λ）条件下表现更优。

提出的方法

• 将问题形式化为衰老老虎机问题，其中奖励为成功传输带来的 AoI 减少量，该值取决于信道可靠性与源节点当前的 AoI。
• 引入 AoI regret，定义为学习策略的期望累积 AoI 与拥有完整信道可靠性知识的向导策略的期望累积 AoI 之间的差值。
• 将标准多臂老虎机策略——ε-贪婪、上置信界（UCB）和 Thompson Sampling（TS）——适配至 AoI 上下文，并证明其 AoI regret 呈 Θ(log T) 阶。
• 提出一种新颖的学习算法——最优策略（Optimal policy），其基于估计的信道可靠性与当前 AoI 动态选择源-信道对，确保 regret 有界。
• 设计一种混合策略（Hybrid policy），在初始学习阶段（10⁴ 时隙）使用 Thompson Sampling，随后切换至最优策略，以在高流量下加速收敛。
• 通过仿真评估，设置 M=3 个源节点、N=5 条信道，以及不同的分组生成速率（λ=0.1 和 λ=0.75），在 T=10⁵ 时隙内评估 regret 与可靠性估计精度。

实验结果

研究问题

• RQ1 传统多臂老虎机算法（ε-贪婪、UCB、TS）在具有历史相关奖励的 AoI 最小化场景中能否实现有界 regret？
• RQ2 在具有随机到达与未知信道可靠性的无线网络中，学习算法的 regret 基本缩放特性为何？
• RQ3 能否设计一种新型学习算法，实现有界（O(1)）AoI regret 而非对数 regret？
• RQ4 在高源流量（大 λ）条件下，所提最优策略的性能如何退化？是否可被缓解？
• RQ5 在混合方法中结合 Thompson Sampling 与长期最优策略，是否能在实际中实现更快收敛与更低 regret？

主要发现

• 标准基于老虎机的策略（ε-贪婪、UCB、TS）的 AoI regret 呈 Θ(log T) 缩放，确认其在传统老虎机意义上的阶最优性，但在 AoI 上下文中并非如此。
• 所提最优学习算法实现 O(1) AoI regret，标志着在随机到达条件下首次实现有界 regret 的已知学习算法。
• 当 T=10⁵ 时，最优策略的 AoI regret 在 λ 从 0.1 增加至 0.75 时，增加约 491.0 倍，原因在于高流量环境下学习速度变慢。
• 混合策略在前 10⁴ 个时隙使用 Thompson Sampling，随后切换至最优策略，显著提升了学习速度并降低了 regret，相比仅使用最优策略在高 λ 条件下的表现。
• 仿真结果表明，最优策略在长时间内可能将较高估计可靠性分配给次优信道，导致高 regret，尤其在高 λ 条件下更为明显。
• 所提最优策略在足够长的 T 后最终收敛至真实的信道可靠性，此后 AoI regret 停止增长，证实其理论上的 O(1) 上限。