[论文解读] Deep Reinforcement Learning for IoT Networks: Age of Information and Energy Cost Tradeoff

Xiongwei Wu, Xiuhua Li+3 more|arXiv (Cornell University)|Oct 23, 2020

Age of Information Optimization参考文献 17被引用 4

一句话总结

该论文提出了一种基于深度强化学习（DRL）的在线缓存更新框架，用于物联网网络，以优化信息年龄（AoI）与传输能量成本之间的权衡。通过将问题建模为马尔可夫决策过程，并使用结合AoI与能量成本的奖励函数的深度Q网络（DQN），该框架在无需预先了解内容受欢迎程度的情况下学习智能缓存策略，与专注于AoI的设置相比，能量消耗降低了52.7%，平均AoI仅增加2.41个时隙。

ABSTRACT

In most Internet of Things (IoT) networks, edge nodes are commonly used as to relays to cache sensing data generated by IoT sensors as well as provide communication services for data consumers. However, a critical issue of IoT sensing is that data are usually transient, which necessitates temporal updates of caching content items while frequent cache updates could lead to considerable energy cost and challenge the lifetime of IoT sensors. To address this issue, we adopt the Age of Information (AoI) to quantify data freshness and propose an online cache update scheme to obtain an effective tradeoff between the average AoI and energy cost. Specifically, we first develop a characterization of transmission energy consumption at IoT sensors by incorporating a successful transmission condition. Then, we model cache updating as a Markov decision process to minimize average weighted cost with judicious definitions of state, action, and reward. Since user preference towards content items is usually unknown and often temporally evolving, we therefore develop a deep reinforcement learning (DRL) algorithm to enable intelligent cache updates. Through trial-and-error explorations, an effective caching policy can be learned without requiring exact knowledge of content popularity. Simulation results demonstrate the superiority of the proposed framework.

研究动机与目标

• 为解决在物联网网络中保持数据新鲜度的同时最小化频繁缓存更新带来的能量消耗挑战。
• 开发一种在线缓存策略，以适应随时间变化的用户偏好和动态无线信道条件。
• 建立一个现实的传输能量消耗模型，结合信噪比（SNR）阈值的成功传输约束。
• 通过智能自适应决策，最小化平均AoI与传输能量成本的加权和。
• 实现基于学习的缓存更新，而无需预先了解内容受欢迎程度的动力学特性。

提出的方法

• 将缓存更新问题建模为马尔可夫决策过程（MDP），基于AoI、能量成本和用户请求统计定义状态、动作与奖励。
• 设计一个现实的能量消耗模型，仅当信噪比（SNR）超过阈值时才允许成功传输，以反映真实无线信道行为。
• 设计一种基于DQN的算法，通过与环境的试错交互学习缓存策略，利用经验回放和目标网络提高稳定性。
• 将奖励函数定义为平均AoI与传输能量成本加权和的负值，以实现数据新鲜度与能量效率的联合优化。
• 使用最大容量为5000个经验的回放缓冲区，并每100个训练时隙更新一次目标网络，以提升学习收敛性。
• 引入超参数η以平衡AoI与能量成本之间的权衡，支持对任一指标的可调优先级。

实验结果

研究问题

• RQ1 如何设计一种缓存策略，以在动态物联网网络中平衡数据新鲜度（以AoI衡量）与能量成本？
• RQ2 基于SNR的成功传输条件等现实无线传输约束，对物联网缓存中能量消耗建模有何影响？
• RQ3 基于DRL的方法能否在不了解内容受欢迎程度动力学的前提下学习到有效的缓存策略？
• RQ4 与启发式基线方法（如最热门更新、随机更新）相比，所提出的DRL框架在能量效率和AoI性能方面表现如何？
• RQ5 AoI与能量成本之间的最优权衡点是什么？该点如何随加权参数η的变化而变化？

主要发现

• 所提出的DQN算法相比专注于AoI的基线（η = 0）将平均传输能量消耗降低了52.7%，平均AoI仅增加2.41个时隙。
• 当η = 20时，DQN算法的平均加权成本比最热门更新（MPU）基线低54.9%，表现出显著的性能提升。
• 学习曲线显示，DQN收敛至高于MPU和RU的奖励水平，分别实现28.8%和40.4%的性能增益，并接近Oracle Update上界值0.84。
• 随着η增大，DQN和Oracle Update的能量成本显著降低，而AoI因更新频率减少而上升，证实了权衡行为的存在。
• 该框架能有效适应动态用户偏好和异构信道条件，在所有η值下均优于基线方法，表明其具备鲁棒性与适应性。
• 结果验证了将物理层传输能量模型与SNR约束结合，可产生比基于传输次数的简单模型更真实、更有效的缓存策略。