[论文解读] Hyperparameter Tuning for Deep Reinforcement Learning Applications

Mariam Kiran, Melis Ozyildirim|arXiv (Cornell University)|Jan 26, 2022

Machine Learning and Data Classification被引用 20

一句话总结

本论文提出 HPS-RL，一种分布式变长基因算法框架，用于在多种算法和 Gym 环境中自动且多目标地调节深度强化学习的超参数，目标是更快的训练和更鲁棒的部署。

ABSTRACT

Reinforcement learning (RL) applications, where an agent can simply learn optimal behaviors by interacting with the environment, are quickly gaining tremendous success in a wide variety of applications from controlling simple pendulums to complex data centers. However, setting the right hyperparameters can have a huge impact on the deployed solution performance and reliability in the inference models, produced via RL, used for decision-making. Hyperparameter search itself is a laborious process that requires many iterations and computationally expensive to find the best settings that produce the best neural network architectures. In comparison to other neural network architectures, deep RL has not witnessed much hyperparameter tuning, due to its algorithm complexity and simulation platforms needed. In this paper, we propose a distributed variable-length genetic algorithm framework to systematically tune hyperparameters for various RL applications, improving training time and robustness of the architecture, via evolution. We demonstrate the scalability of our approach on many RL problems (from simple gyms to complex applications) and compared with Bayesian approach. Our results show that with more generations, optimal solutions that require fewer training episodes and are computationally cheap while being more robust for deployment. Our results are imperative to advance deep reinforcement learning controllers for real-world problems.

研究动机与目标

• 激发在深度强化学习中系统性超参数调优的必要性及其对性能和鲁棒性的影响。
• 提出一个可扩展的多目标基于 GA 的框架（HPS-RL），用于自动搜索多种深度 RL 算法的超参数。
• 展示该方法在多任务强化学习任务和多种硬件配置上的可扩展性与效率。
• 提供一个开源实现，便于研究人员探索深度 RL 的超参数优化。

提出的方法

• 将超参数表示为 GA 种群中的基因。
• 使用交叉和变异在世代之间进化超参数。
• 通过训练代理若干有限的回合来评估适应度，并测量累计奖励、训练时间和损失。
• 应用轮盘赌选择根据适应度来选择父本。
• 支持可变长度的基因块，以适应不同的 RL 算法（如 DDPG 与 ACKTR）。
• 利用分布式计算（头节点、参数服务器、多个工作节点）来加速搜索。

实验结果

研究问题

• RQ1 遗传算法是否能够对多种深度 RL 算法进行有效的多目标超参数优化？
• RQ2 HPS-RL 是否能找到在更少训练回合内获得更高奖励并在 OpenAI Gym 环境中具有更强鲁棒性的超参数？
• RQ3 在深度 RL 超参数的效率与可扩展性方面，基于 GA 的调优与贝叶斯优化相比如何？

主要发现

• 基于 GA 的多目标搜索可以在世代中进化超参数，从而以更少的回合获得更高的奖励。
• 更多世代（实验中最高达到 50 世代）在 Cartpole、Lunar Landing 和 Autonomous Laser 环境中产生更好的适应度并减少训练需求。
• HPS-RL 展示了在多核 CPU 和 GPU 上的可扩展性，采用包含头节点、参数服务器和工作节点的分布式架构。
• 与贝叶斯优化相比，GA 方法能够利用并行性，并可能更有效地探索 RL 早期阶段的随机性，在有限计算资源下具有优势。