[论文解读] Multi-Agent Reinforcement Learning for Joint Channel Assignment and Power Allocation in Platoon-Based C-V2X Systems.

Hung V. Vu, Zheyu Liu+3 more|arXiv (Cornell University)|Nov 9, 2020

Traffic control and management参考文献 16被引用 13

一句话总结

本文提出一种多智能体强化学习（MARL）方法，用于车队型C-V2X系统中的联合信道分配与功率分配，其中每个车队领头车辆作为独立智能体，利用双重深度Q学习（DDQN）根据本地信道状态优化子带和功率选择。该方法在保持低时延V2V可靠性的同时，实现接近穷举搜索的最优性能，并最大化V2I吞吐量。

ABSTRACT

We consider the problem of joint channel assignment and power allocation in underlaid cellular vehicular-to-everything (C-V2X) systems where multiple vehicle-to-infrastructure (V2I) uplinks share the time-frequency resources with multiple vehicle-to-vehicle (V2V) platoons that enable groups of connected and autonomous vehicles to travel closely together. Due to the nature of fast channel variant in vehicular environment, traditional centralized optimization approach relying on global channel information might not be viable in C-V2X systems with large number of users. Utilizing a reinforcement learning (RL) approach, we propose a distributed resource allocation (RA) algorithm to overcome this challenge. Specifically, we model the RA problem as a multi-agent system. Based solely on the local channel information, each platoon leader, who acts as an agent, collectively interacts with each other and accordingly selects the optimal combination of sub-band and power level to transmit its signals. Toward this end, we utilize the double deep Q-learning algorithm to jointly train the agents under the objectives of simultaneously maximizing the V2I sum-rate and satisfying the packet delivery probability of each V2V link in a desired latency limitation. Simulation results show that our proposed RL-based algorithm achieves a close performance compared to that of the well-known exhaustive search algorithm.

研究动机与目标

• 解决大规模C-V2X系统中动态、快衰落车辆信道带来的挑战，其中集中式优化不切实际。
• 实现在无需全局信道状态信息情况下的分布式、实时资源分配。
• 联合最大化V2I吞吐量并确保在时延约束下可靠的V2V通信。
• 为基于车队的车载网络设计可扩展的解决方案，采用强化学习技术。

提出的方法

• 将资源分配问题建模为多智能体强化学习系统，每个车队领头车辆作为独立智能体。
• 使用双重深度Q学习（DDQN）以去中心化方式训练智能体，仅依赖本地信道状态信息。
• 将动作空间定义为每个智能体传输所用的子带与功率等级的组合。
• 制定奖励函数，以在时延约束下平衡V2I吞吐量最大化与V2V分组传输成功率。
• 通过与环境交互训练智能体，利用经验回放和目标网络更新Q值，以提高训练稳定性。
• 通过本地决策实现对快速变化的车载环境的可扩展性与适应性。

实验结果

研究问题

• RQ1 去中心化的多智能体强化学习方法是否能有效处理大规模C-V2X系统中的联合信道分配与功率分配？
• RQ2 与集中式穷举搜索相比，所提出的MARL方法在V2I吞吐量和V2V可靠性方面的表现如何？
• RQ3 仅依靠本地信道状态信息，能否在快衰落的车载环境中支持高质量的资源分配？
• RQ4 双重深度Q学习框架在动态的车队型C-V2X场景中是否能保持稳定性和收敛性？

主要发现

• 所提出的基于MARL的算法在V2I吞吐量方面表现接近穷举搜索算法（被认为是最佳性能）。
• 该算法成功在指定时延约束内维持了每个V2V链路所需的分组传输成功率。
• 采用双重深度Q学习使算法在车辆信道动态且非平稳的环境下仍能实现稳定高效的训练。
• 去中心化方法消除了对全局信道状态信息的需求，提升了可扩展性与实时可行性。