[论文解读] Multi-Agent Reinforcement Learning Based Resource Allocation for UAV Networks

Jingjing Cui, Yuanwei Liu+1 more|arXiv (Cornell University)|Oct 24, 2018

UAV Applications and Optimization参考文献 34被引用 17

一句话总结

本文提出了一种用于无人机网络中动态资源分配的多智能体强化学习（MARL）框架，其中每个无人机独立地使用去中心化的Q-learning方法选择用户、功率级别和子信道。该方法在最小化无人机间通信的前提下实现了接近最优的性能，在随机且不确定的环境中实现了性能增益与开销之间的平衡。

ABSTRACT

Unmanned aerial vehicles (UAVs) are capable of serving as aerial base stations (BSs) for providing both cost-effective and on-demand wireless communications. This article investigates dynamic resource allocation of multiple UAVs enabled communication networks with the goal of maximizing long-term rewards. More particularly, each UAV communicates with a ground user by automatically selecting its communicating users, power levels and subchannels without any information exchange among UAVs. To model the uncertainty of environments, we formulate the long-term resource allocation problem as a stochastic game for maximizing the expected rewards, where each UAV becomes a learning agent and each resource allocation solution corresponds to an action taken by the UAVs. Afterwards, we develop a multi-agent reinforcement learning (MARL) framework that each agent discovers its best strategy according to its local observations using learning. More specifically, we propose an agent-independent method, for which all agents conduct a decision algorithm independently but share a common structure based on Q-learning. Finally, simulation results reveal that: 1) appropriate parameters for exploitation and exploration are capable of enhancing the performance of the proposed MARL based resource allocation algorithm; 2) the proposed MARL algorithm provides acceptable performance compared to the case with complete information exchanges among UAVs. By doing so, it strikes a good tradeoff between performance gains and information exchange overheads.

研究动机与目标

• 解决多无人机网络中最小化无人机间信息交换的动态资源分配问题。
• 将资源分配问题建模为随机博弈，以最大化长期奖励。
• 开发一种去中心化的MARL算法，使每个无人机能够基于本地观测学习最优策略。
• 评估在动态无人机网络中性能与通信开销之间的权衡。

提出的方法

• 将资源分配问题建模为随机博弈，其中每个无人机作为独立的学习智能体行动。
• 采用基于Q-learning的智能体无关MARL方法，具有共享架构但独立决策。
• 使用包含状态转移、奖励和折扣因子δ的Q函数更新规则，以建模长期价值。
• 应用压缩映射理论，证明Q值函数在最优解处收敛。
• 引入学习更新规则，确保方差有界并几乎必然收敛至最优策略。
• 采用随机逼近框架，以处理无人机网络中的环境不确定性和非平稳性。

实验结果

研究问题

• RQ1 去中心化的MARL方法是否能在无需完整信息交换的情况下实现在多无人机网络中的近似最优资源分配？
• RQ2 探索与利用之间的权衡如何影响基于MARL的资源分配算法的性能？
• RQ3 所提出的去中心化MARL与具有完整信息交换的集中式方案之间的性能差距是多少？
• RQ4 在环境不确定性下，所提出的MARL框架是否能收敛至最优策略？
• RQ5 该算法在动态无人机网络中如何平衡性能增益与通信开销？

主要发现

• 对探索与利用参数的适当调节能显著提升所提出MARL算法的性能。
• 基于MARL的方法实现了与具有完整信息交换的集中式方案相近的性能。
• 该算法在性能与通信开销之间取得了有利的权衡，适用于实时无人机网络。
• 理论分析证实，在所提出的学习规则下，Q值函数几乎必然收敛至最优解。
• 学习更新的方差有界，确保在随机环境中实现稳定可靠的收敛。
• Q更新算子的压缩映射性质保证了向最优策略的收敛。