[论文解读] Deep Reinforcement Learning Radio Control and Signal Detection with KeRLym, a Gym RL Agent

Timothy J. O’Shea, T. Charles Clancy|arXiv (Cornell University)|May 30, 2016

Reinforcement Learning in Robotics参考文献 3被引用 16

一句话总结

该论文提出 KeRLym，一个基于 Keras 的开源深度强化学习智能体，用于使用 OpenAI Gym 进行无线电控制与信号检测。它在模拟无线电环境中成功实现了策略学习，针对频率和带宽调节采用离散动作，通过结合双 Q-learning 与经验回放的深度 Q-learning 实现了有效的信号定位，展示了在优化奖励方案下的稳定学习与改进的策略性能。

ABSTRACT

This paper presents research in progress investigating the viability and adaptation of reinforcement learning using deep neural network based function approximation for the task of radio control and signal detection in the wireless domain. We demonstrate a successful initial method for radio control which allows naive learning of search without the need for expert features, heuristics, or search strategies. We also introduce Kerlym, an open Keras based reinforcement learning agent collection for OpenAI's Gym.

研究动机与目标

• 开发一种无需依赖专家特征或启发式方法的通用深度强化学习智能体，用于动态无线电频谱接入。
• 创建一个标准化的、开源的强化学习环境，用于使用 OpenAI Gym 进行无线电信号搜索与检测。
• 评估并比较不同奖励方案对训练策略的影响，以最小化搜索时间与功耗，同时最大化检测准确性。
• 证明端到端深度 Q-learning 与函数逼近在复杂、部分可观测环境中的实时无线电控制与信号检测的可行性。

提出的方法

• KeRLym 实现了一个使用双 Q-learning 减少过度估计偏差并提高策略稳定性的深度 Q-learning 智能体。
• 智能体使用经验回放，记忆缓冲区大小为 1,000,000 个转移，以稳定训练并提高样本效率。
• 一种混合神经网络架构结合全连接层处理标量传感器输入与卷积层处理频域功率谱，以实现平移不变的特征学习。
• 环境模拟一个软件定义无线电，其离散动作包括：频率调谐（上/下）、带宽调整（左/右）、信号检测与任务完成。
• 智能体使用由 Keras 近似实现的参数化 Q 函数进行训练，通过 Adam 优化，学习率为 0.001，折扣因子 γ = 0.99。
• 评估了三种奖励方案：方案 A 奖励正确检测与带宽调整，方案 B 惩罚误报，方案 C 使用延迟的、与深度相关的最终奖励，以鼓励高效搜索。

实验结果

研究问题

• RQ1 使用函数逼近的深度强化学习是否能在无需专家特征或启发式方法的情况下学习到有效的无线电控制策略？
• RQ2 不同的奖励塑造策略如何影响 DRL 智能体在无线电信号检测任务中的收敛性与性能？
• RQ3 在部分可观测的无线电环境中，双 Q-learning 在多大程度上提升了策略稳定性与学习效率？
• RQ4 混合神经网络架构是否能有效处理混合输入类型（标量值与谱数据），以实现无线电频谱探索？
• RQ5 经验回放与超参数调优（如学习率、ε-greedy）如何影响训练稳定性与最终策略质量？

主要发现

• 智能体仅使用原始传感器与谱输入，成功在模拟无线电环境中学习到稳定的信号检测与定位策略。
• 方案 B（惩罚误报）导致学习速度较慢但更稳健，减少了对错误检测的过拟合。
• 与标准 Q-learning 相比，使用双 Q-learning 显著提高了策略稳定性并减少了过度估计偏差。
• 结合卷积层与全连接层的混合神经网络架构，有效捕捉了谱模式与标量控制变量。
• 训练统计数据表明高价值与低价值动作之间存在清晰分离，表明价值函数逼近与策略学习均有效。
• 智能体在最优奖励方案下，累积奖励持续增加且回合长度变长，表明其随时间推移对信号定位能力不断提升。