[论文解读] Neuroevolution is a Competitive Alternative to Reinforcement Learning for Skill Discovery

Félix Chalumeau, Raphael Boige+6 more|arXiv (Cornell University)|Oct 6, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文表明，质量多样性（QD）神经演化是信息论增强强化学习（RL）在技能发现方面的一种有竞争力的替代方法。通过利用QD基于行为描述符的优化能力，生成多样化且高性能的策略，作者展示了QD方法在技能多样性、适应性和分层规划任务中达到相当或更优的性能，相较于最先进RL方法，其超参数敏感度更低，可扩展性更强。

ABSTRACT

Deep Reinforcement Learning (RL) has emerged as a powerful paradigm for training neural policies to solve complex control tasks. However, these policies tend to be overfit to the exact specifications of the task and environment they were trained on, and thus do not perform well when conditions deviate slightly or when composed hierarchically to solve even more complex tasks. Recent work has shown that training a mixture of policies, as opposed to a single one, that are driven to explore different regions of the state-action space can address this shortcoming by generating a diverse set of behaviors, referred to as skills, that can be collectively used to great effect in adaptation tasks or for hierarchical planning. This is typically realized by including a diversity term - often derived from information theory - in the objective function optimized by RL. However these approaches often require careful hyperparameter tuning to be effective. In this work, we demonstrate that less widely-used neuroevolution methods, specifically Quality Diversity (QD), are a competitive alternative to information-theory-augmented RL for skill discovery. Through an extensive empirical evaluation comparing eight state-of-the-art algorithms (four flagship algorithms from each line of work) on the basis of (i) metrics directly evaluating the skills' diversity, (ii) the skills' performance on adaptation tasks, and (iii) the skills' performance when used as primitives for hierarchical planning; QD methods are found to provide equal, and sometimes improved, performance whilst being less sensitive to hyperparameters and more scalable. As no single method is found to provide near-optimal performance across all environments, there is a rich scope for further research which we support by proposing future directions and providing optimized open-source implementations.

研究动机与目标

• 评估质量多样性（QD）神经演化是否可作为信息论增强RL在技能发现中的可行替代方案。
• 解决基于RL的方法存在的局限性，如超参数敏感性和对特定任务条件的过拟合。
• 在三个关键指标上比较QD与基于RL的算法的性能：技能多样性、对扰动的适应能力以及分层规划能力。
• 通过展示QD方法的鲁棒性，减少对复杂超参数调优的依赖。
• 通过发布经优化的开源实现，为未来研究提供支持。

提出的方法

• 作者在一系列连续控制环境中实现并比较了八种最先进算法——四款来自QD谱系，四款来自信息论增强RL谱系。
• QD方法利用行为描述符空间将策略映射到不同的行为区域，并通过进化选择维持一组高性能、多样化的策略。
• 对于基于RL的方法，通过潜在变量与策略轨迹之间的互信息项来鼓励多样性，奖励函数通过判别器或动力学模型进行塑造。
• 奖励函数结合了外部任务奖励与来自对数似然比的多样性奖励：DIAYN的$ r_{\text{diversity}} = \log q_{\phi}(z|s_{t+1}) - \log p(z) $，DADS的$ \log q(s_{t+1}|s_t,z) - \log p(s) $。
• SMERL变体使用阈值化奖励组合：$ r_{\text{SMERL}} = r_t + \delta \beta r_{\text{diversity}} $，其中$ \delta = \mathbb{1}_{R > R^* - \epsilon} $，以优先选择高性能轨迹。
• 所有方法均使用离策略深度RL与经验回放缓冲区进行训练，策略参数通过策略梯度优化进行更新。

实验结果

研究问题

• RQ1 基于QD的神经演化能否在生成多样化、高性能技能方面达到或超越信息论增强RL的性能？
• RQ2 在技能多样性方面，QD与基于RL的方法相比如何，以行为描述符覆盖度和潜在码与轨迹之间的互信息为衡量标准？
• RQ3 通过QD发现的技能多样性是否能带来在环境扰动下（如机器人形态或初始条件改变）更好的泛化性能？
• RQ4 QD生成的技能在分层规划中能否作为有效基元，优于或匹配基于RL的技能集？
• RQ5 QD与基于RL的方法对超参数调优（特别是多样性系数$ \beta $）的敏感度如何？

主要发现

• 在行为描述符空间覆盖度和潜在码与轨迹之间互信息的衡量下，QD方法在技能多样性方面达到或优于最先进基于RL的方法。
• 在适应性任务中，基于QD的策略因内在的行为多样性，在环境扰动（如机器人形态或初始条件变化）下表现出更强的泛化能力。
• 在分层规划中作为基元使用时，QD生成的技能在解决复杂多阶段任务方面优于或至少匹配基于RL的对应方法，尤其在需要灵活策略组合的环境中表现更优。
• 与需要精细校准的基于RL的方法相比，QD方法对超参数调优（特别是多样性系数$ \beta $）的敏感度显著降低。
• 尽管需要多达两个数量级更多的环境交互，QD方法仍展现出更优的可扩展性，并在多种环境中保持一致的性能。
• 没有单一方法在所有环境中均达到最优性能，表明未来在混合或自适应神经演化-RL框架方面存在丰富研究机会。