[论文解读] Joint Status Sampling and Updating for Minimizing Age of Information in the Internet of Things

Bo Zhou, Walid Saad|arXiv (Cornell University)|Jul 11, 2018

Age of Information Optimization参考文献 45被引用 7

一句话总结

该论文提出了一种联合状态采样与更新策略，用于在能量成本约束下最小化物联网设备的年龄信息（AoI），采用约束马尔可夫决策过程（CMDP）的拉格朗日松弛方法。对于单个设备，最优策略为随机化阈值策略；对于多个设备，提出了一种低复杂度的半分布式在线学习算法，相较于基线策略，平均AoI最多降低33%。

ABSTRACT

The effective operation of time-critical Internet of things (IoT) applications requires real-time reporting of fresh status information of underlying physical processes. In this paper, a real-time IoT monitoring system is considered, in which the IoT devices sample a physical process with a sampling cost and send the status packet to a given destination with an updating cost. This joint status sampling and updating process is designed to minimize the average age of information (AoI) at the destination node under an average energy cost constraint at each device. This is formulated as an infinite horizon average cost constrained Markov decision process (CMDP) and transformed into an unconstrained MDP using a Lagrangian method. For the single IoT device case, the optimal policy for the CMDP is shown to be a randomized mixture of two deterministic policies for the unconstrained MDP, which is of threshold type. Then, a structure-aware optimal algorithm to obtain the optimal policy of the CMDP is proposed and the impact of the wireless channel dynamics is studied while demonstrating that channels having a larger mean channel gain and less scattering can achieve better AoI performance. For the case of multiple IoT devices, a low-complexity distributed suboptimal policy is proposed with the updating control at the destination and the sampling control at each device. Then, an online learning algorithm is developed to obtain this policy, which can be implemented at each IoT device and requires only the local knowledge and small signaling from the destination. The proposed learning algorithm is shown to converge almost surely to the suboptimal policy. Simulation results show the structural properties of the optimal policy for the single IoT device case; and show that the proposed policy for multiple IoT devices outperforms a zero-wait baseline policy, with average AoI reductions reaching up to 33%.

研究动机与目标

• 解决在时间关键型物联网应用中最小化年龄信息（AoI）的挑战，其中状态更新会产生采样和传输能量成本。
• 在能量预算约束下，将联合采样与更新问题建模为无限时域平均成本约束马尔可夫决策过程（CMDP）。
• 利用拉格朗日松弛和结构分析，为单个物联网设备设计最优策略，揭示AoI与能量成本之间的权衡关系。
• 为多个物联网设备设计一种低复杂度、半分布式在线学习算法，仅依赖本地知识且从接收端获取最少的信令信息。
• 在多设备场景中证明所提策略的收敛性与性能，显示其相较于零等待基线策略的显著AoI降低。

提出的方法

• 将联合采样与更新过程建模为CMDP，其中采样与更新动作会产生成本，并影响接收端的年龄信息（AoI）。
• 通过拉格朗日松弛将约束CMDP转化为无约束MDP，从而能够使用贝尔曼方程推导最优策略。
• 证明单个设备的最优策略是两种阈值型确定性策略的随机混合，该结果基于值函数与Q-因子分析得出。
• 对于多个设备，提出一种半分布式策略，其中采样由本地控制，更新由接收端管理，以减少信令开销。
• 基于随机逼近和常微分方程（ODE）理论设计一种在线学习算法，迭代更新拉格朗日乘子，并收敛至次优策略。
• 利用结构分析与单链马尔可夫链性质，确保在所提策略框架下学习算法的收敛性。

实验结果

研究问题

• RQ1 在单个物联网设备系统中，年龄信息（AoI）与采样/更新能量成本之间的最优权衡是什么？
• RQ2 在单设备场景下，如何设计联合采样与更新策略，以在满足能量约束的前提下最小化AoI？
• RQ3 在多设备物联网网络中，所提策略相较于零等待或简单基线策略的性能增益如何？
• RQ4 能否设计一种分布式、在线学习算法，实现在最小信令和本地知识依赖下的近似最优AoI性能？
• RQ5 无线信道特性（如平均信道增益和散射）如何影响所提系统中可实现的AoI性能？

主要发现

• 单个物联网设备的最优策略是两种阈值型确定性策略的随机混合，揭示了AoI与能量成本之间的根本权衡。
• 所提出的多设备在线学习算法几乎必然收敛至次优策略，支持基于本地决策的实用化实现。
• 仿真结果表明，在多设备场景中，所提策略相较于零等待基线策略，平均AoI最多降低33%。
• 平均信道增益更高、散射更低的信道可实现更优的AoI性能，凸显了信道质量在年龄最小化中的重要性。
• 结构分析确认，单设备情形下的最优策略为阈值型，简化了实现并提供了设计洞见。
• 拉格朗日松弛方法成功地将约束CMDP转化为无约束MDP，使得贝尔曼方程与策略迭代可用于最优解的推导。