[论文解读] Discovering Diverse Nearly Optimal Policies with Successor Features

Tom Zahavy, Brendan O’Donoghue+4 more|arXiv (Cornell University)|Jun 1, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

该论文提出 Diverse Successive Policies 方法，通过在后续特征（SFs）中优化多样性，同时利用约束马尔可夫决策过程（CMDP）保持近似最优性能，从而发现一组近似最优的强化学习策略，并实现高行为多样性。该方法使用显式的多样性奖励，以最小化不同策略的后续特征之间的相关性，其在发现如三足站立或高抬腿行走等定性上不同的运动行为方面，优于以往的鲁棒性与区分度方法。

ABSTRACT

Finding different solutions to the same problem is a key aspect of intelligence associated with creativity and adaptation to novel situations. In reinforcement learning, a set of diverse policies can be useful for exploration, transfer, hierarchy, and robustness. We propose Diverse Successive Policies, a method for discovering policies that are diverse in the space of Successor Features, while assuring that they are near optimal. We formalize the problem as a Constrained Markov Decision Process (CMDP) where the goal is to find policies that maximize diversity, characterized by an intrinsic diversity reward, while remaining near-optimal with respect to the extrinsic reward of the MDP. We also analyze how recently proposed robustness and discrimination rewards perform and find that they are sensitive to the initialization of the procedure and may converge to sub-optimal solutions. To alleviate this, we propose new explicit diversity rewards that aim to minimize the correlation between the Successor Features of the policies in the set. We compare the different diversity mechanisms in the DeepMind Control Suite and find that the type of explicit diversity we are proposing is important to discover distinct behavior, like for example different locomotion patterns.

研究动机与目标

• 为解决大多数强化学习方法仅关注寻找单一最优策略，而非一组定性不同的解决方案的局限性。
• 将发现多样化、近似最优策略的形式化为以后续特征多样性为主要目标的约束马尔可夫决策过程（CMDP）。
• 分析现有内在多样性机制——鲁棒性与区分度——在不同初始化条件下的敏感性与次优性。
• 提出新的显式多样性奖励，通过最小化策略间后续特征的相关性来提升多样性并避免局部最优。
• 在 DeepMind Control Suite 中展示该方法在学习多样化、高奖励行为方面的有效性，包括新颖的运动模式。

提出的方法

• 将问题形式化为 CMDP，其目标是在保持策略在外部奖励方面近似最优的约束下，最大化后续特征（SFs）的多样性。
• 基于最小化集合中不同策略的后续特征之间相关性的内在多样性奖励，使用特征的线性组合进行定义。
• 采用拉格朗日松弛方法，联合优化多样性与近似最优性，自适应调整约束权重。
• 以增量方式训练策略，每次向集合中添加一个策略，每个策略均基于先前训练策略的后续特征所导出的多样性目标求解 CMDP。
• 在 DeepMind Control Suite 环境中应用该方法，采用稀疏奖励与无奖励设置，以评估多样性和性能。
• 在行为多样性与收敛稳定性方面，将所提出的显式多样性奖励与先前方法（鲁棒性、区分度）进行比较。

实验结果

研究问题

• RQ1 以后续特征多样性为约束的 MDP 框架能否生成一组多样化且近似最优的策略？
• RQ2 现有内在多样性机制——鲁棒性与区分度——在行为多样性与收敛稳定性方面表现如何？
• RQ3 显式最小化后续特征之间的相关性是否优于隐式或间接的多样性信号？
• RQ4 所提出的方法能否在保持近似最优性能的同时，发现定性上不同的运动行为（如三足站立、高抬腿行走）？
• RQ5 在无奖励设置下，该方法表现如何，即训练期间无外部奖励可用？

主要发现

• 所提出的显式多样性奖励（通过最小化后续特征之间的相关性）在发现多样化运动行为方面，显著优于鲁棒性与区分度方法。
• 在 Walker.walk 环境中，该方法发现了包括单腿抬起、高抬腿行走、脚跟到脚尖行走等不同行走模式，达到最大外部奖励的 98%。
• 在 Dog.stand 环境中，该方法发现了三足站立变体，而无多样性机制的基线方法仅产生四足站立，尽管性能相近（达到最大奖励的 92–106%）。
• 在无奖励设置下，该方法发现了复杂的运动技能，如在 Walker 中的后退跪姿、爬行与翻跟头跳跃，以及在 Cheetah 中的前后奔跑与跳跃。
• 该方法在极少超参数调优下实现了高多样性，而鲁棒性与区分度方法常收敛至次优或静态行为（如“瑜伽”姿势）。
• 所有发现的策略均满足近似最优性约束（≥最大外部奖励的 90%），证实多样性并未以性能为代价。