[论文解读] Age of Information-Aware Radio Resource Management in Vehicular Networks: A Proactive Deep Reinforcement Learning Perspective

Xianfu Chen, Celimuge Wu+5 more|arXiv (Cornell University)|Aug 6, 2019

Age of Information Optimization参考文献 49被引用 9

一句话总结

该论文提出了一种主动式深度强化学习（DRL）框架，用于车辆网络中基于信息年龄（AoI）的无线资源管理，采用长短期记忆（LSTM）增强的深度Q网络（DQN）处理部分可观测性与高维状态空间问题。该方法通过基于本地VUE对观测的去中心化、实时频段分配与调度，实现了平均效用显著提升——相比最先进基线方法最高提升30%。

ABSTRACT

In this paper, we investigate the problem of age of information (AoI)-aware radio resource management for expected long-term performance optimization in a Manhattan grid vehicle-to-vehicle network. With the observation of global network state at each scheduling slot, the roadside unit (RSU) allocates the frequency bands and schedules packet transmissions for all vehicle user equipment-pairs (VUE-pairs). We model the stochastic decision-making procedure as a discrete-time single-agent Markov decision process (MDP). The technical challenges in solving the optimal control policy originate from high spatial mobility and temporally varying traffic information arrivals of the VUE-pairs. To make the problem solving tractable, we first decompose the original MDP into a series of per-VUE-pair MDPs. Then we propose a proactive algorithm based on long short-term memory and deep reinforcement learning techniques to address the partial observability and the curse of high dimensionality in local network state space faced by each VUE-pair. With the proposed algorithm, the RSU makes the optimal frequency band allocation and packet scheduling decision at each scheduling slot in a decentralized way in accordance with the partial observations of the global network state at the VUE-pairs. Numerical experiments validate the theoretical analysis and demonstrate the significant performance improvements from the proposed algorithm.

研究动机与目标

• 解决在时变流量与信道条件下，高移动性车辆网络中长期性能优化的挑战。
• 克服分布式车辆到车辆（V2V）通信中无线资源管理（RRM）面临的维度灾难与部分可观测性问题。
• 设计一种去中心化、主动式的RRM算法，利用信息年龄（AoI）作为关键指标，维持时延敏感交通信息的时效性。
• 使路边单元（RSU）仅基于对全局网络状态的部分本地观测，即可做出最优频段与调度决策。
• 在无需网络动态先验知识的前提下，实现效用、AoI与能量效率方面优于现有基线方法的性能表现。

提出的方法

• 将RRM问题建模为具有全局状态观测的单智能体马尔可夫决策过程（MDP）。
• 将全局MDP分解为每个VUE对的MDP，以降低复杂度并支持去中心化决策。
• 在深度Q网络（DQN）中集成长短期记忆（LSTM）网络，以处理局部网络状态中的时间依赖性与部分可观测性。
• 提出一种主动式深度强化学习算法（基于所提DRQN框架），基于历史部分观测预测最优动作。
• 采用Q函数分解技术，在保持RSU协调的前提下，实现多VUE对间的可扩展学习。
• 通过经验回放与目标网络端到端训练智能体，以稳定学习过程并提升收敛性。

实验结果

研究问题

• RQ1 如何设计主动式无线资源管理，以在具有动态流量与信道条件的高移动性车辆网络中最小化信息年龄（AoI）？
• RQ2 LSTM增强的深度强化学习在分布式V2V RRM中，能在多大程度上缓解部分可观测性与高维状态空间的挑战？
• RQ3 与反应式或非AoI感知的基线算法相比，所提出的主动式DRL框架在AoI、效用与能量效率方面的性能表现如何？
• RQ4 VUE对间距离与VUE对数量对不同网络负载下AoI感知RRM性能有何影响？
• RQ5 所提方法是否能在无需网络动态先验知识或统计信道模型的前提下，实现最优长期性能？

主要发现

• 所提主动式DRL算法在每个VUE对上的平均效用相比最先进基线最高提升30%。
• 随着VUE对间距离增加（例如从65m增至100m），平均AoI约上升25%，但所提方法对此类恶化情况的缓解效果优于基线方法。
• 在68个VUE对与每时隙4个分组的到达率下，所提算法相比AoI感知基线平均AoI降低22%，相比随机基线降低35%。
• 由于更智能的频段分配，所提方法的平均发射功率消耗低于分组感知与AoI感知基线，尤其在远距离时优势更明显。
• 当VUE对数量从30增至100时，所提算法相比队列感知基线保持20%更高的效用，表明其在高负载下的鲁棒性。
• 队列感知与随机基线在AoI表现上相近，表明随机或基于队列的分配无法有效利用信道质量信息，而所提方法则能有效利用。