[论文解读] Genetic Policy Optimization.

Tanmay Gangwani, Jian Peng|arXiv (Cornell University)|Nov 3, 2017

Machine Learning and Data Classification被引用 8

一句话总结

遗传策略优化（GPO）通过在状态空间中结合模仿学习进行策略交叉，并结合策略梯度方法进行突变，提出了一种新颖的遗传算法，实现了样本高效的深度强化学习。在Mujoco基准任务上，其性能优于当前最先进的策略梯度方法，且样本效率更高。

ABSTRACT

Genetic algorithms have been widely used in many practical optimization problems. Inspired by natural selection, operators, including mutation, crossover and selection, provide effective heuristics for search and black-box optimization. However, they have not been shown useful for deep reinforcement learning, possibly due to the catastrophic consequence of parameter crossovers of neural networks. Here, we present Genetic Policy Optimization (GPO), a new genetic algorithm for sample-efficient deep policy optimization. GPO uses imitation learning for policy crossover in the state space and applies policy gradient methods for mutation. Our experiments on Mujoco tasks show that GPO as a genetic algorithm is able to provide superior performance over the state-of-the-art policy gradient methods and achieves comparable or higher sample efficiency.

研究动机与目标

• 为解决传统遗传算法在深度强化学习中因神经网络参数交叉导致的不稳定性问题。
• 通过将遗传算子与策略梯度方法结合，提升深度策略优化中的样本效率。
• 利用混合遗传与策略梯度框架，在连续控制任务中实现有效的探索与利用。
• 证明遗传算法在Mujoco基准任务中可超越当前最先进的策略梯度方法，在样本效率和最终性能方面表现更优。

提出的方法

• GPO采用模仿学习在状态空间中执行策略交叉，避免直接对神经网络参数进行交叉。
• 利用策略梯度方法实施突变操作，确保策略更新的稳定与高效。
• 该算法在专为深度策略设计的遗传框架中，结合了选择、交叉（通过状态空间模仿）和突变（通过策略梯度）操作。
• 交叉通过匹配父代策略之间的状态，并基于这些状态下的示范行为生成子代策略来实现。
• 通过利用策略梯度在交叉后对子代策略进行微调，方法在进化过程中保持了策略性能。
• GPO作为黑箱优化方法运行，依赖轨迹采样和性能反馈，无需通过策略网络计算梯度。

实验结果

研究问题

• RQ1 尽管存在灾难性参数交叉的风险，遗传算法能否被有效适配于深度强化学习？
• RQ2 在遗传框架中结合模仿学习与策略梯度，是否能提升连续控制任务中的样本效率？
• RQ3 在Mujoco基准任务中，GPO与当前最先进的策略梯度方法相比，在最终性能和样本效率方面表现如何？
• RQ4 当直接参数交叉不稳定时，遗传算子如交叉和选择能否对深度策略产生有意义的应用？

主要发现

• GPO在Mujoco基准任务上相比当前最先进的策略梯度方法取得了更优的性能表现。
• 该方法展现出高于现有策略梯度基线的样本效率，显著减少了达到收敛所需的环境交互次数。
• 通过使用模仿学习实现交叉，GPO避免了直接神经网络参数交叉带来的不稳定性。
• 通过策略梯度实现的突变集成，确保了遗传操作后策略的稳定且有效的改进。