[论文解读] Maximum Mutation Reinforcement Learning for Scalable Control

Karush Suri, Xiao Qi Shi+2 more|arXiv (Cornell University)|Jul 24, 2020

Reinforcement Learning in Robotics参考文献 41被引用 9

一句话总结

本文提出基于进化策略的软演员-critic算法（ESAC），一种可扩展的强化学习算法，通过进化策略（ES）实现探索与使用软演员-critic（SAC）进行策略优化相分离。通过整合自动突变调优（AMT）与事后交叉，ESAC在MuJoCo和DeepMind Control Suite任务上实现了最先进性能，每episode的墙钟时间降低60%，并提升了对超参数敏感度的鲁棒性，在样本效率和可扩展性方面优于SAC。

ABSTRACT

Advances in Reinforcement Learning (RL) have demonstrated data efficiency and optimal control over large state spaces at the cost of scalable performance. Genetic methods, on the other hand, provide scalability but depict hyperparameter sensitivity towards evolutionary operations. However, a combination of the two methods has recently demonstrated success in scaling RL agents to high-dimensional action spaces. Parallel to recent developments, we present the Evolution-based Soft Actor-Critic (ESAC), a scalable RL algorithm. We abstract exploration from exploitation by combining Evolution Strategies (ES) with Soft Actor-Critic (SAC). Through this lens, we enable dominant skill transfer between offsprings by making use of soft winner selections and genetic crossovers in hindsight and simultaneously improve hyperparameter sensitivity in evolutions using the novel Automatic Mutation Tuning (AMT). AMT gradually replaces the entropy framework of SAC allowing the population to succeed at the task while acting as randomly as possible, without making use of backpropagation updates. In a study of challenging locomotion tasks consisting of high-dimensional action spaces and sparse rewards, ESAC demonstrates improved performance and sample efficiency in comparison to the Maximum Entropy framework. Additionally, ESAC presents efficacious use of hardware resources and algorithm overhead. A complete implementation of ESAC can be found at karush17.github.io/esac-web/.

研究动机与目标

• 为解决深度强化学习（RL）算法在高维动作空间和长时程任务中的可扩展性局限。
• 克服进化策略（ES）在突变率和种群动态方面对超参数的敏感性。
• 在不依赖反向传播的前提下实现高效、可扩展的探索，同时保持SAC的样本效率和性能。
• 通过ES中的软胜者选择与事后交叉，提升技能迁移能力和种群鲁棒性。
• 通过动态降低反向传播频率，减少对SAC梯度更新的依赖，同时保持性能。

提出的方法

• ESAC将探索（通过ES）与利用（通过SAC）解耦，使用ES演化策略权重，SAC则通过梯度更新优化这些权重。
• 提出自动突变调优（AMT），一种方法：在裁剪区域ζ内逐步增加突变率σ，从而在不使用反向传播的情况下增强探索能力。
• 软胜者选择允许表现最佳的后代被选为繁殖对象，同时仍可接受突变，防止陷入停滞并实现技能迁移。
• 事后交叉使评估后后代之间可传递主导性状，通过基因重组提升种群整体性能。
• SAC的梯度更新次数随时间呈指数衰减，降低计算开销，同时保持学习进度。
• 在MuJoCo和DeepMind Control Suite环境中评估该算法，通过不同种群规模和突变率测试其可扩展性与鲁棒性。

实验结果

研究问题

• RQ1 结合ES与SAC的混合强化学习方法是否能在高维控制任务中同时实现高样本效率与可扩展性？
• RQ2 自动突变调优（AMT）如何在不使用反向传播的情况下提升进化策略中超参数的鲁棒性？
• RQ3 事后交叉与软胜者选择在ES-based RL中能在多大程度上增强技能迁移与种群性能？
• RQ4 在结合ES探索时，减少SAC梯度更新频率是否会降低性能？
• RQ5 在具有挑战性的运动控制任务中，ESAC相较于SAC与标准ES在墙钟时间和样本效率方面表现如何？

主要发现

• ESAC在15项MuJoCo和DeepMind Control Suite任务中的10项上达到最先进性能，包括多种Humanoid变体。
• 与SAC相比，该算法将每episode的平均墙钟时间降低了约60%，在CPU资源上展现出强大的可扩展性。
• AMT在ζ的狭窄范围内（10⁻⁴至10⁻²）实现了鲁棒性能，仅在ζ ≥ 0.1时观察到显著敏感性，表明超参数鲁棒性得到提升。
• 事后交叉与软胜者选择通过在不屏蔽顶级智能体突变的前提下实现主导技能传递，显著提升了种群层面性能。
• ESAC执行的反向传播更新次数显著少于SAC——表明对基于梯度优化的依赖性降低——同时保持或提升了样本效率。
• 该方法在不同种群规模和突变率下均保持稳定性能，证实了其可扩展性与高效的硬件利用率。