[论文解读] CytonRL: an Efficient Reinforcement Learning Open-source Toolkit Implemented in C++

Xiaolin Wang|arXiv (Cornell University)|Apr 14, 2018

Reinforcement Learning in Robotics参考文献 7被引用 3

一句话总结

CytonRL 是一个基于 C++ 的开源强化学习工具包，使用 NVIDIA GPU 加速库和 CytonLib 神经网络库，实现了四种先进的深度 Q-learning 算法——DQN、Double DQN、优先经验回放（Prioritized Experience Replay）和双 DQN（Dueling DQN）。该工具包在 Atari Breakout 环境中实现了具有竞争力的性能，通过优化超参数和 GPU 加速计算，展现出高训练效率和强学习稳定性。

ABSTRACT

This paper presents an open-source enforcement learning toolkit named CytonRL (https://github.com/arthurxlw/cytonRL). The toolkit implements four recent advanced deep Q-learning algorithms from scratch using C++ and NVIDIA's GPU-accelerated libraries. The code is simple and elegant, owing to an open-source general-purpose neural network library named CytonLib. Benchmark shows that the toolkit achieves competitive performances on the popular Atari game of Breakout.

研究动机与目标

• 开发一个高性能、开源的深度强化学习工具包，利用 C++ 和 GPU 加速以提升训练效率。
• 通过清晰、模块化的代码库，实现四种最先进的深度 Q-learning 算法——DQN、Double DQN、优先经验回放和双 DQN。
• 通过与通用开源神经网络库 CytonLib 的集成，提升代码简洁性与可扩展性。
• 在标准基准测试（如 Atari Breakout）上实现具有竞争力的性能，通过精心调优的超参数确保训练稳定性与速度。

提出的方法

• 该工具包使用神经网络近似最优动作价值函数 $ Q^*(s,a) $，通过经验回放和时序差分学习进行训练。
• 采用贝尔曼方程计算目标值：$ Q^*(s,a) = \mathbb{E}[r + \gamma \max_{a'} Q^*(s',a')|s,a] $，目标值来自目标网络的自举更新。
• 框架采用 RMSprop 优化，学习率为 0.000625，折扣因子 $ \gamma = 0.99 $，经验回放记忆大小为 1,000,000。
• 优先经验回放采用 $ \alpha = 0.6 $，$ \beta $ 从 0.4 逐步退火至 1.0，以减少采样偏差。
• 双 DQN 架构将价值和优势分支分离，通过解耦状态值函数与优势函数，提升价值函数估计精度。
• 所有底层操作均通过基于 C++ 的神经网络库（CytonLib）暴露，支持完整的编程灵活性，并利用 cuDNN 和 cuBLAS 实现 GPU 加速计算。

实验结果

研究问题

• RQ1 基于 C++ 的深度强化学习工具包是否能在 Atari 游戏上实现具有竞争力的性能，同时保持高计算效率？
• RQ2 在 CytonRL 框架中，Double DQN、优先经验回放和双 DQN 架构的集成对学习稳定性与最终性能有何影响？
• RQ3 与基于 CPU 或 Python 的实现相比，通过 NVIDIA 库实现的 GPU 加速在训练速度和可扩展性方面提升了多少？
• RQ4 使用通用神经网络库（CytonLib）在低层强化学习工具包中如何提升代码简洁性与可维护性？

主要发现

• CytonRL 在 Atari Breakout 环境中表现出色，采用优先经验回放的双 DQN 模型学习速度最快，最终性能最高。
• 采用双 DQN 和优先经验回放的模型设置降低了学习方差，提升了样本效率，实现了更快的高奖励收敛。
• 该工具包在 1 亿步训练中表现稳定，5000 万步后测试回合的平均奖励超过 300，表明策略学习具有鲁棒性。
• 使用 C++ 和 GPU 加速库实现了高效的计算，在训练速度和资源利用率方面优于许多基于 Python 的实现。
• 基于 CytonLib 的模块化设计简化了代码结构，使低层操作完全可见，增强了可扩展性与调试能力。