[论文解读] Multi-agent Reinforcement Learning for Resource Allocation in IoT networks with Edge Computing

Xiaolan Liu, Jiadong Yu+1 more|arXiv (Cornell University)|Apr 5, 2020

IoT and Edge/Fog Computing参考文献 28被引用 4

一句话总结

本文提出了一种基于独立学习者的多智能体Q-learning（IL-based MA-Q）算法，用于物联网边缘计算网络中的分布式计算卸载，其中每个终端用户自主学习本地执行与边缘执行、无线接入技术以及子信道选择的最优决策，以最小化长期系统成本。该方法在降低平均成本和提高能效方面优于集中式和随机基准方案，同时减少了网关开销，且无需集中式信道估计。

ABSTRACT

To support popular Internet of Things (IoT) applications such as virtual reality, mobile games and wearable devices, edge computing provides a front-end distributed computing archetype of centralized cloud computing with low latency. However, it's challenging for end users to offload computation due to their massive requirements on spectrum and computation resources and frequent requests on Radio Access Technology (RAT). In this paper, we investigate computation offloading mechanism with resource allocation in IoT edge computing networks by formulating it as a stochastic game. Here, each end user is a learning agent observing its local environment to learn optimal decisions on either local computing or edge computing with the goal of minimizing long term system cost by choosing its transmit power level, RAT and sub-channel without knowing any information of the other end users. Therefore, a multi-agent reinforcement learning framework is developed to solve the stochastic game with a proposed independent learners based multi-agent Q-learning (IL-based MA-Q) algorithm. Simulations demonstrate that the proposed IL-based MA-Q algorithm is feasible to solve the formulated problem and is more energy efficient without extra cost on channel estimation at the centralized gateway compared to the other two benchmark algorithms.

研究动机与目标

• 解决资源受限、动态变化的物联网边缘网络中对频谱、计算资源的高需求以及频繁的无线接入技术（RAT）切换问题。
• 使终端用户能够在不了解其他用户行为的前提下，自主做出最优卸载决策。
• 通过去中心化决策减少对集中式网关的计算和信令负担。
• 通过联合优化发射功率、RAT和子信道分配，最小化长期系统成本。

提出的方法

• 将计算卸载问题建模为一个随机博弈，其中每个终端用户作为独立的学习智能体。
• 提出一种基于IL的MA-Q算法，使每个智能体能够通过去中心化方式的Q-learning学习其最优策略。
• 每个智能体维护自己的Q表，并根据对信道质量、任务大小和能耗的本地观测进行更新。
• 该算法采用ε-greedy探索策略，以平衡对已学习动作的利用与对新策略的探索。
• 系统建模了动态用户移动性、随机任务到达以及变化的信道条件，以反映真实的物联网边缘环境。
• 通过仿真评估了在不同用户数量、接入技术（LoRa、WiFi）和信道配置下的性能表现。

实验结果

研究问题

• RQ1 在具有多个竞争用户的动态、资源受限的物联网边缘网络中，如何优化计算卸载？
• RQ2 去中心化的多智能体强化学习方法是否能在系统成本和能效方面优于集中式或随机卸载策略？
• RQ3 在用户密度和信道竞争增加的情况下，IL-based MA-Q算法的收敛性和稳定性如何？
• RQ4 与集中式方法相比，所提方法在系统成本和网关开销方面表现如何？
• RQ5 不同的探索率（ε）对学习算法的收敛性和性能有何影响？

主要发现

• IL-based MA-Q算法随时间推移表现出稳定的收敛性，随着训练轮次增加，每时间槽的平均成本持续下降。
• 当终端用户数量少于27时，该算法的平均系统成本低于随机和集中式基准算法。
• 在更高用户数量（如30个用户）时，IL-based MA-Q算法的成本略高于集中式方法，但避免了对集中式信道估计的需求。
• 该方法有效防止了无线接入冲突，30个用户中有20个成功使用LoRa和WiFi信道卸载任务且无干扰。
• 该算法在不同探索率下表现出鲁棒性，ε = 0.9时因过度探索导致成本升高。
• 该算法的去中心化特性显著降低了网关的计算和信令负载，相比集中式方法优势明显。