[论文解读] Age-of-Information Bandits

Kavya Bhandari, Santosh Fatale+3 more|arXiv (Cornell University)|Jan 25, 2020

Age of Information Optimization被引用 4

一句话总结

本文为多通道通信系统提出了一种AoI感知的调度策略，其中源节点向监控节点报告时变测量值。将问题建模为具有未知信道成功概率的多臂赌博机问题，提出新颖的算法，利用当前的年龄信息（Age-of-Information）指导信道选择，在模拟中显著优于UCB和Thompson采样，大幅降低了AoI遗憾。

ABSTRACT

We consider a system with a single source that measures/tracks a time-varying quantity and periodically attempts to report these measurements to a monitoring station. Each update from the source has to be scheduled on one of K available communication channels. The probability of success of each attempted communication is a function of the channel used. This function is unknown to the scheduler. The metric of interest is the Age-of-Information (AoI), formally defined as the time elapsed since the destination received the recent most update from the source. We model our scheduling problem as a variant of the multi-arm bandit problem with communication channels as arms. We characterize a lower bound on the AoI regret achievable by any policy and characterize the performance of UCB, Thompson Sampling, and their variants. In addition, we propose novel policies which, unlike UCB and Thompson Sampling, use the current AoI to make scheduling decisions. Via simulations, we show the proposed AoI-aware policies outperform existing AoI-agnostic policies.

研究动机与目标

• 解决在K条不可靠通信信道（信道成功概率未知）上调度周期性更新的挑战。
• 最小化监控站处的年龄信息（AoI），定义为自最近一次更新接收以来的时间。
• 设计能够自适应学习信道可靠性并最小化AoI遗憾的调度策略。
• 开发新颖的算法，明确将当前AoI纳入决策过程，与标准赌博机方法不同。

提出的方法

• 将调度问题建模为多臂赌博机问题，其中信道为具有未知成功概率的“臂”。
• 提出一种基于随时间累积AoI的新型遗憾度量，以捕捉更新的及时性。
• 提出新的调度策略，将当前AoI作为状态变量，优先选择更新较陈旧的信道，从而增强对过时更新的响应能力。
• 分析AoI遗憾的理论下界，确立性能的理论极限。
• 评估UCB、Thompson采样及其变体在AoI场景下的表现，并与所提出的AoI感知策略进行比较。
• 通过仿真实验，在不同信道条件下比较AoI无关与AoI感知策略的性能。

实验结果

研究问题

• RQ1 在信道可靠性未知的多信道系统中，任何调度策略可实现的AoI遗憾的理论下限是什么？
• RQ2 当将标准多臂赌博机算法（如UCB和Thompson采样）应用于AoI最小化时，其表现如何？
• RQ3 在调度决策中引入当前年龄信息，是否能带来相较于AoI无关策略的性能提升？
• RQ4 在学习与自适应方面，AoI无关与AoI感知调度策略在结构上存在哪些差异？

主要发现

• 本文建立了AoI遗憾的理论下界，为评估调度策略提供了基准。
• 标准赌博机算法（如UCB和Thompson采样）在AoI最小化中表现次优，原因在于其缺乏对当前年龄的感知。
• 所提出的AoI感知策略在模拟实验中显著降低了AoI遗憾，优于UCB和Thompson采样。
• 在决策中引入当前AoI可加快对过时更新的恢复速度，提升信息传递的及时性。