[论文解读] Partially Observable Minimum-Age Scheduling: The Greedy Policy

Yulin Shao, Qi Cao+2 more|arXiv (Cornell University)|Sep 28, 2020

Age of Information Optimization参考文献 42被引用 7

一句话总结

本文研究无线传感器网络中的最小年龄调度问题，其中传感器的年龄信息（Age of Information, AoI）为部分可观测。提出一种松弛的贪心策略，将各传感器的采样过程解耦，将每个传感器的采样过程建模为部分可观测马尔可夫决策过程（POMDP），并证明该松弛策略在最小化长期期望AoI方面能非常接近最优贪心策略。

ABSTRACT

This paper studies the minimum-age scheduling problem in a wireless sensor network where an access point (AP) monitors the state of an object via a set of sensors. The freshness of the sensed state, measured by the age-of-information (AoI), varies at different sensors and is not directly observable to the AP. The AP has to decide which sensor to query/sample in order to get the most updated state information of the object (i.e., the state information with the minimum AoI). In this paper, we formulate the minimum-age scheduling problem as a multi-armed bandit problem with partially observable arms and explore the greedy policy to minimize the expected AoI sampled over an infinite horizon. To analyze the performance of the greedy policy, we 1) put forth a relaxed greedy policy that decouples the sampling processes of the arms, 2) formulate the sampling process of each arm as a partially observable Markov decision process (POMDP), and 3) derive the average sampled AoI under the relaxed greedy policy as a sum of the average AoI sampled from individual arms. Numerical and simulation results validate that the relaxed greedy policy is an excellent approximation to the greedy policy in terms of the expected AoI sampled over an infinite horizon.

研究动机与目标

• 解决无线传感器网络中传感器AoI不可直接观测时最小化期望AoI的挑战。
• 将问题形式化为部分可观测的 restless 多臂赌博机（POMAB）问题，其中各臂为部分可观测。
• 提出一种松弛贪心策略，解耦单个传感器的采样过程，以实现可处理的分析。
• 通过将每个传感器的采样动态建模为部分可观测马尔可夫决策过程（POMDP），分析松弛策略的性能。
• 证明松弛贪心策略在最小化无限时域期望AoI方面，能对真实贪心策略提供极佳的近似。

提出的方法

• 提出一种松弛贪心策略，解耦各传感器之间的采样决策，将每个传感器的采样过程独立处理。
• 将每个传感器的采样过程建模为部分可观测马尔可夫决策过程（POMDP），以捕捉未观测到的AoI演化过程。
• 将松弛策略下的平均采样AoI表示为各传感器平均AoI贡献之和。
• 利用递推关系和稳态分析，计算松弛策略下每个传感器的期望AoI。
• 通过数值结果和仿真对比，验证近似精度。
• 在对称与非对称设置下，利用优化和随机优势理论论证建立性能界。

实验结果

研究问题

• RQ1 在传感器AoI不可观测的部分可观测多臂赌博机设置中，如何对贪心策略进行近似？
• RQ2 真实贪心策略与解耦传感器采样过程的松弛策略之间的性能差距是多少？
• RQ3 在最小化长期期望AoI方面，松弛贪心策略与随机调度相比表现如何？
• RQ4 在对称与非对称传感器设置下，何种条件可确保松弛策略为最优策略的紧密近似？
• RQ5 能否通过POMDP建模，对松弛策略下的平均AoI进行解析推导并建立边界？

主要发现

• 数值与仿真结果验证表明，松弛贪心策略实现的期望AoI与真实贪心策略极为接近。
• 松弛策略下的平均采样AoI可被解析推导为各传感器平均AoI值之和，每个值均通过POMDP分析获得。
• 在对称设置下，最优策略实现AoI的下界，且随着传感器可靠性提高，松弛策略趋近于该下界。
• 松弛策略优于随机调度，理论证明显示 $ J(\hat{\mu}') \leq J_{\text{random}} $，表明其具有更低的期望AoI。
• 实践中，松弛策略与真实贪心策略之间的性能差距可忽略不计，使其成为一种高度有效的近似策略。
• 分析揭示，主动传输的最优采样阈值 $ L^* $ 为 $ \left\lceil \log_p(1 - 1/N) \right\rceil $，其取决于传感器可靠性与传感器数量。