[论文解读] Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning

Bryon Tjanaka, Matthew C. Fontaine+2 more|arXiv (Cornell University)|Feb 8, 2022

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了CMA-MEGA算法的两种变体，用于强化学习（RL）中的可微质量多样性（DQD），通过进化策略（ES）和TD3演员-critic方法近似梯度。该方法使在非可微RL环境中实现高效的QD优化成为可能，其中一种变体在QDGym的四个运动任务中实现了与最先进方法PGA-MAP-Elites相当的性能。

ABSTRACT

Consider the problem of training robustly capable agents. One approach is to generate a diverse collection of agent polices. Training can then be viewed as a quality diversity (QD) optimization problem, where we search for a collection of performant policies that are diverse with respect to quantified behavior. Recent work shows that differentiable quality diversity (DQD) algorithms greatly accelerate QD optimization when exact gradients are available. However, agent policies typically assume that the environment is not differentiable. To apply DQD algorithms to training agent policies, we must approximate gradients for performance and behavior. We propose two variants of the current state-of-the-art DQD algorithm that compute gradients via approximation methods common in reinforcement learning (RL). We evaluate our approach on four simulated locomotion tasks. One variant achieves results comparable to the current state-of-the-art in combining QD and RL, while the other performs comparably in two locomotion tasks. These results provide insight into the limitations of current DQD algorithms in domains where gradients must be approximated. Source code is available at https://github.com/icaros-usc/dqd-rl

研究动机与目标

• 将可微质量多样性（DQD）扩展至强化学习（RL）场景，其中环境动态通常不可微。
• 解决现有DQD算法依赖精确梯度的局限性，而这些梯度在标准RL环境中不可用。
• 通过使用与RL兼容的方法近似性能（目标）函数和行为（度量）函数的梯度，开发高效的QD-RL算法。
• 在基准运动任务上评估所提方法，并与最先进QD-RL算法在性能和效率方面进行比较。
• 为DQD在RL中的梯度近似方法提供实用指导，建议在现代控制基准中优先使用TD3而非ES以获得更优性能。

提出的方法

• 通过使用进化策略（ES）和TD3演员-critic方法近似目标函数和行为函数的梯度，将CMA-MEGA DQD算法适配至RL。
• 提出两种变体：CMA-MEGA (TD3, ES)，使用TD3进行目标梯度估计，ES进行行为梯度估计；以及CMA-MEGA (ES)，两者均使用ES。
• 保持CMA-MEGA框架，即在解点周围采样梯度系数，并通过更新分布以最大化档案改进。
• 基于运动任务中的脚部使用模式定义行为度量，以实现策略在运动策略上的多样性。
• 将梯度近似集成至CMA-MEGA优化循环中，使算法即使在梯度无法解析获得时也能执行DQD风格搜索。
• 利用基于PyBullet的QDGym环境进行评估，采用QD得分AUC作为主要指标，用于跨算法比较性能。

实验结果

研究问题

• RQ1 当精确梯度不可用时，可微质量多样性（DQD）能否在强化学习（RL）中有效应用？
• RQ2 进化策略（ES）和TD3等梯度近似方法在支持RL中DQD优化方面的能力如何比较？
• RQ3 所提CMA-MEGA变体在QD-RL基准中相对于最先进方法PGA-MAP-Elites的性能如何？
• RQ4 梯度近似方法的效率如何影响复杂运动任务中收敛性和最终QD得分？
• RQ5 为何在QD Hopper和QD Walker等特定环境中，某些梯度近似方法（如TD3）优于其他方法（如ES）？”

主要发现

• CMA-MEGA (TD3, ES) 在QDGym的四个运动任务中均实现了与最先进方法PGA-MAP-Elites相当的QD得分性能。
• 尽管最终QD得分相近，CMA-MEGA (TD3, ES) 在QD Ant和QD Hopper任务中的效率低于PGA-MAP-Elites。
• CMA-MEGA (ES) 在四个任务中的两个（QD Half-Cheetah和QD Walker）中表现与PGA-MAP-Elites相当，但在QD Ant和QD Hopper任务中表现显著更差。
• CMA-MEGA变体的档案插入次数更高（500k vs. 5k），尽管评估效率较低，但相比ME-ES实现了更好的档案改进。
• 在QD Hopper和QD Walker中，基于TD3的目标梯度比基于ES的梯度更有效，可能是因为QDGym中的奖励塑造信号更有利于深度RL优化。
• 在QD Hopper中，MAP-Elites的QD得分高于CMA-MEGA变体，但其解的鲁棒性较差，表明性能与稳定性之间存在权衡。