[论文解读] Caching Transient Content for IoT Sensing: Multi-Agent Soft Actor-Critic

Xiongwei Wu, Xiuhua Li+4 more|arXiv (Cornell University)|Aug 30, 2020

Age of Information Optimization参考文献 45被引用 4

一句话总结

本文提出了一种多智能体软演员-critic（MADDPG-SAC）强化学习框架，用于在边缘节点缓存瞬态物联网传感数据，以优化信息年龄（AoI），同时最小化能量和前传回传成本。该方法在网络规模增大时，相较于DQN和传统演员-critic基线模型表现出更优性能，其去中心化变体也保持了接近中心化性能的表现。

ABSTRACT

Edge nodes (ENs) in Internet of Things commonly serve as gateways to cache sensing data while providing accessing services for data consumers. This paper considers multiple ENs that cache sensing data under the coordination of the cloud. Particularly, each EN can fetch content generated by sensors within its coverage, which can be uploaded to the cloud via fronthaul and then be delivered to other ENs beyond the communication range. However, sensing data are usually transient with time whereas frequent cache updates could lead to considerable energy consumption at sensors and fronthaul traffic loads. Therefore, we adopt age of information to evaluate data freshness and investigate intelligent caching policies to preserve data freshness while reducing cache update costs. Specifically, we model the cache update problem as a cooperative multi-agent Markov decision process with the goal of minimizing the long-term average weighted cost. To efficiently handle the exponentially large number of actions, we devise a novel reinforcement learning approach, which is a discrete multi-agent variant of soft actor-critic (SAC). Furthermore, we generalize the proposed approach into a decentralized control, where each EN can make decisions based on local observations only. Simulation results demonstrate the superior performance of the proposed SAC-based caching schemes.

研究动机与目标

• 解决物联网网络中瞬态传感数据缓存问题，其中数据新鲜度随时间下降。
• 在保持低信息年龄（AoI）的同时，减少频繁缓存更新带来的能耗和前传回传流量。
• 构建一种合作式多智能体马尔可夫决策过程（MMDP）框架，联合优化AoI、能耗和前传回传成本。
• 设计一种低复杂度、适用于大规模边缘缓存的离散多智能体强化学习算法。
• 将解决方案推广至去中心化控制架构，使每个边缘节点仅基于本地观测进行决策。

提出的方法

• 将缓存更新问题建模为一种合作式多智能体马尔可夫决策过程（MMDP），采用加权成本目标函数，综合考虑AoI、能耗和前传回传负载。
• 提出一种针对多智能体离散动作空间的软演员-critic（SAC）离散变体，以降低空间复杂度。
• 引入基于Gumbel-Softmax重参数化技术的随机动作选择机制，实现可微分探索。
• 基于瑞利衰落信道和信噪比（SNR）阈值，推导出预期吞吐量的闭式表达式，以建模前传回传链路的可靠性。
• 将集中式策略推广为去中心化控制方案，使每个边缘节点仅使用本地观测进行决策。
• 采用具有可调超参数ω₁和ω₂的加权成本函数，以在实际应用中平衡AoI与更新成本。

实验结果

研究问题

• RQ1 如何在物联网边缘缓存中联合优化数据新鲜度（AoI）、能耗和前传回传流量？
• RQ2 何种强化学习方法能高效处理离散多智能体边缘缓存中的指数级动作空间？
• RQ3 去中心化的多智能体SAC方法是否能在大规模物联网网络中实现接近集中式学习的性能？
• RQ4 AoI、能耗和前传回传负载之间的权衡如何随成本函数权重（ω₁, ω₂）的变化而变化？
• RQ5 在动态物联网缓存场景中，所提出的MADDPG-SAC相较于DQN和传统演员-critic基线模型的性能增益如何？

主要发现

• 所提出的MADDPG-SAC算法在边缘节点或传感器数量增加时，显著优于DQN和传统演员-critic方法，能更有效地降低长期平均加权成本。
• 所提出方案的去中心化变体性能与集中式版本相差不足5%，展现出优异的可扩展性和实用性。
• 仿真结果表明，通过调节ω₁和ω₂可有效实现AoI与更新成本之间的权衡，但当权重超过10后收益递减。
• 与基于AoI最优和随机缓存方案相比，该方法实现了更低的平均AoI以及更少的能耗和前传回传成本。
• 基于瑞利衰落信道的预期吞吐量推导，为成本函数中前传回传可靠性的准确建模提供了理论支持。
• Gumbel-Softmax重参数化技术实现了离散动作空间中的有效探索，提升了策略收敛性和稳定性。