[论文解读] AoI and Energy Consumption Oriented Dynamic Status Updating in Caching Enabled IoT Networks

Chao Xu, Xijun Wang+3 more|arXiv (Cornell University)|Mar 1, 2020

Age of Information Optimization参考文献 16被引用 5

一句话总结

该论文提出了一种无模型强化学习算法 EAU，用于在缓存启用的物联网网络中动态优化状态更新，平衡用户端的信息年龄（AoI）与传感器能耗。该方法在不同 AoI 与能耗权衡下均实现收敛，并在长期折扣奖励方面优于零等待基线。

ABSTRACT

Caching has been regarded as a promising technique to alleviate energy consumption of sensors in Internet of Things (IoT) networks by responding to users' requests with the data packets stored in the edge caching node (ECN). For real-time applications in caching enabled IoT networks, it is essential to develop dynamic status update strategies to strike a balance between the information freshness experienced by users and energy consumed by the sensor, which, however, is not well addressed. In this paper, we first depict the evolution of information freshness, in terms of age of information (AoI), at each user. Then, we formulate a dynamic status update optimization problem to minimize the expectation of a long term accumulative cost, which jointly considers the users' AoI and sensor's energy consumption. To solve this problem, a Markov Decision Process (MDP) is formulated to cast the status updating procedure, and a model-free reinforcement learning algorithm is proposed, with which the challenge brought by the unknown of the formulated MDP's dynamics can be addressed. Finally, simulations are conducted to validate the convergence of our proposed algorithm and its effectiveness compared with the zero-wait baseline policy.

研究动机与目标

• 解决缓存启用的物联网网络中信息新鲜度（以用户端的 AoI 衡量）与能耗之间的不平衡问题。
• 制定一个动态状态更新问题，联合最小化长期预期的 AoI 和传感器能耗成本。
• 为未知系统动态提供解决方案，其中转移概率在事前不可用。
• 通过基于学习的方法实现实时适应用户请求模式和信道条件。
• 改进零等待策略，该策略虽最小化 AoI 但因频繁更新导致高能耗。

提出的方法

• 将状态更新过程建模为马尔可夫决策过程（MDP），状态由用户 AoI 和传感器能量水平定义。
• 定义一个成本函数，结合加权的用户端 AoI 和传感器能耗，支持可调的权衡参数。
• 提出一种无模型深度强化学习算法（EAU），在无需系统动态知识的前提下学习最优更新决策。
• 采用基于 Q-learning 的框架，结合经验回放和目标网络，以稳定训练并提升收敛性。
• 通过 600 个时间步的滚动窗口实现延迟奖励机制，以估计长期折扣奖励。
• 在训练过程中将探索率 ε 从 0.5 逐步降低至 0.999，以平衡探索与利用。

实验结果

研究问题

• RQ1 如何在缓存启用的物联网网络中优化动态状态更新，以最小化 AoI 和能耗的长期成本？
• RQ2 与零等待策略相比，基于学习的方法在长期奖励和系统效率方面有何性能提升？
• RQ3 在不同 β₁ 值（反映 AoI 与能耗的权衡）下，算法在 AoI 与能耗权衡变化时的表现如何？
• RQ4 当系统动态未知时，无模型强化学习方法能否有效学习最优更新策略？
• RQ5 算法如何实现收敛并实时适应随机用户请求和信道衰落？

主要发现

• 当最大学习时间 T_max 超过 5×10⁷ 时，所提出的 EAU 算法实现收敛，尽管其状态-动作对规模达 3.2×10⁵，仍表现出稳定性。
• 当 β₁ 较小时（例如 β₁ = 1），EAU 在长期折扣奖励方面显著优于零等待策略，表明其在 AoI 与能耗之间实现了更优的权衡。
• 随着 β₁ 增大（例如 β₁ = 7），EAU 与零等待策略之间的性能差距缩小，证实 AoI 减少成为成本最小化中的主导因素。
• 在高 β₁（强 AoI 权重）条件下，EAU 降低了长期平均 AoI，同时增加了能耗，表明其能有效适应用户定义的优先级。
• 尽管存在用户请求随机性和传输失败，算法仍保持鲁棒性，模拟结果中表现出稳定收敛和低波动性。
• 通过 10³ 次独立模拟运行，验证了 EAU 算法在多种场景下的可靠性与一致性。