[论文解读] Hierarchical Reinforcement Learning for Relay Selection and Power Optimization in Two-Hop Cooperative Relay Network

Yuanzhe Geng, Erwu Liu+2 more|arXiv (Cornell University)|Nov 10, 2020

Cooperative Communication and Network Coding参考文献 33被引用 5

一句话总结

该论文提出了一种分层强化学习（HRL）框架，用于在两跳协作中继网络中联合选择中继和分配功率，以最小化中断概率，且无需事先了解信道状态信息（CSI）。通过将问题分解为两个层次——中继选择和功率分配，HRL方法降低了搜索空间复杂度，实现了在稀疏奖励环境中的高效探索，与深度强化学习（DRL）基线相比，中断概率降低5%，收敛迭代次数提前30轮。

ABSTRACT

Cooperative communication is an effective approach to improve spectrum utilization. In order to reduce outage probability of communication system, most studies propose various schemes for relay selection and power allocation, which are based on the assumption of channel state information (CSI). However, it is difficult to get an accurate CSI in practice. In this paper, we study the outage probability minimizing problem subjected to a total transmission power constraint in a two-hop cooperative relay network. We use reinforcement learning (RL) methods to learn strategies for relay selection and power allocation, which do not need any prior knowledge of CSI but simply rely on the interaction with communication environment. It is noted that conventional RL methods, including most deep reinforcement learning (DRL) methods, cannot perform well when the search space is too large. Therefore, we first propose a DRL framework with an outage-based reward function, which is then used as a baseline. Then, we further propose a hierarchical reinforcement learning (HRL) framework and training algorithm. A key difference from other RL-based methods in existing literatures is that, our proposed HRL approach decomposes relay selection and power allocation into two hierarchical optimization objectives, which are trained in different levels. With the simplification of search space, the HRL approach can solve the problem of sparse reward, while the conventional RL method fails. Simulation results reveal that compared with traditional DRL method, the HRL training algorithm can reach convergence 30 training iterations earlier and reduce the outage probability by 5% in two-hop relay network with the same outage threshold.

研究动机与目标

• 解决在总功率约束下，两跳协作中继网络中最小化中断概率的挑战。
• 克服传统优化方法依赖完美信道状态信息（CSI）的局限性，而实际中CSI往往不可用。
• 开发一种基于强化学习的解决方案，通过与环境交互学习最优中继选择与功率分配策略，无需对信道统计特性做先验假设。
• 解决在高维动作空间中，传统深度强化学习（DRL）方法因探索效率低下而难以应对的稀疏奖励问题。
• 设计一种分层框架，将联合优化分解为两个子任务，以简化学习过程并提高样本效率。

提出的方法

• 提出一种基于中断的二元奖励函数，仅指示通信是否成功，避免对瞬时信噪比或互信息等连续反馈的依赖。
• 设计一种分层强化学习（HRL）框架，将中继选择（高层策略）与功率分配（低层策略）分离，从而减少有效搜索空间。
• 实现两级训练算法：高层智能体根据当前状态选择中继，低层智能体为所选中继确定最优功率分配。
• 为高层和低层策略均采用深度Q网络（DQN），并结合经验回放与目标网络以稳定训练过程。
• 通过与模拟的两跳中继环境交互，端到端训练HRL智能体，采用放大转发（AF）和解码转发（DF）协议。
• 采用离散化的功率分配方案，将总功率划分为可枚举的等级，使动作空间对学习而言具有可行性。

实验结果

研究问题

• RQ1 基于强化学习的方法是否能在不依赖信道状态信息先验知识的前提下，有效最小化两跳协作中继网络中的中断概率？
• RQ2 与标准DRL相比，中继选择与功率分配的分层分解在高维、稀疏奖励环境中如何提升学习效率？
• RQ3 与传统DRL方法相比，所提出的HRL框架在降低中断概率和加速收敛方面达到何种程度的改进？
• RQ4 当泛化到训练期间未见过的不同中断阈值和通信协议（AF与DF）时，HRL策略的鲁棒性如何？
• RQ5 HRL框架是否能有效应对阻碍标准DRL在大动作空间中表现的稀疏奖励问题？

主要发现

• 在相同的中断阈值和总功率约束下，HRL方法相比DRL基线将中断概率降低了5%。
• 在放大转发（AF）和解码转发（DF）通信环境中，HRL智能体均比DRL方法提前30轮训练迭代实现收敛。
• 在搜索空间较大的环境中（中继数量和功率等级较多），DRL方法因稀疏奖励和样本效率低下，导致收敛后平均成功率下降5%。
• HRL策略在不同中断阈值下具有良好的泛化能力：当λ = 1.8时，HRL在大搜索空间中使中断概率低于0.04，而DRL接近0.8，随机选择则接近1.0。
• 通过分层分解简化搜索空间，HRL框架有效缓解了稀疏奖励问题，实现了更一致且稳定的训练过程。
• 即使在不同阈值下测试，HRL策略仍能保持低中断概率（低于0.03），相比在更大空间中训练的DRL策略表现出更优的鲁棒性。