[论文解读] Discovering Diverse Solutions in Deep Reinforcement Learning.

Takayuki Osa, Voot Tangkaratt+1 more|arXiv (Cornell University)|Mar 12, 2021

Reinforcement Learning in Robotics参考文献 32被引用 7

一句话总结

本文提出了一种深度强化学习方法，通过使用连续或离散的低维潜在变量来条件化策略，以发现给定任务的无限组多样化解决方案。通过实现数据高效的多样化行为学习，该方法支持对未见过的任务进行鲁棒的少样本适应，在连续控制环境中展现出优越的泛化能力和解决方案多样性。

ABSTRACT

Reinforcement learning (RL) algorithms are typically limited to learning a single solution of a specified task, even though there often exists diverse solutions to a given task. Compared with learning a single solution, learning a set of diverse solutions is beneficial because diverse solutions enable robust few-shot adaptation and allow the user to select a preferred solution. Although previous studies have showed that diverse behaviors can be modeled with a policy conditioned on latent variables, an approach for modeling an infinite set of diverse solutions with continuous latent variables has not been investigated. In this study, we propose an RL method that can learn infinitely many solutions by training a policy conditioned on a continuous or discrete low-dimensional latent variable. Through continuous control tasks, we demonstrate that our method can learn diverse solutions in a data-efficient manner and that the solutions can be used for few-shot adaptation to solve unseen tasks.

研究动机与目标

• 为了解决标准强化学习算法在每个任务中仅学习单一解决方案的局限性，尽管存在多种可行的行为。
• 探究连续潜在变量是否能够在深度强化学习中建模无限组多样化解决方案。
• 实现多样化行为的数据高效学习，以支持对新未见任务的快速适应。
• 开发一种可扩展且可泛化的多样化策略发现方法，而无需依赖预定义的行为聚类。

提出的方法

• 策略网络通过低维连续或离散潜在变量进行条件化，以生成多样化行为。
• 该方法使用变分推理框架联合训练策略和潜在变量分布，以鼓励学习到的行为具有多样性。
• 奖励塑形机制确保多样化行为不仅彼此不同，而且在解决任务方面均有效。
• 该算法通过潜在空间优化一个正则化目标，以在任务性能和行为多样性之间取得平衡。
• 在推理过程中采样潜在变量，以按需生成新的多样化解决方案。
• 该方法在MuJoCo环境等连续控制基准测试中进行了评估，展示了其可扩展性和效率。

实验结果

研究问题

• RQ1 深度强化学习算法是否能够利用连续潜在变量学习到无限组多样化解决方案？
• RQ2 与现有方法相比，该方法在数据效率和解决方案多样性方面表现如何？
• RQ3 所学习的多样化策略在多大程度上能够实现对未见任务的少样本适应？
• RQ4 与离散或固定行为先验相比，使用连续潜在变量是否能带来更好的泛化能力和行为多样性？

主要发现

• 该方法在Ant和Half-Cheetah等连续控制环境中成功学习到无限组多样化且满足任务要求的行为。
• 与基线方法相比，行为的多样性显著更高，潜在空间中不同位置的策略行为表现出清晰的分离。
• 该方法实现了数据效率，相较于标准强化学习算法，收敛所需的环境交互次数更少。
• 所学习的策略在未见任务上泛化良好，通过简单的潜在代码采样即可实现快速适应。
• 当使用多样化解决方案时，少样本适应性能显著提升，优于单一策略基线方法。
• 使用连续潜在变量能够实现解决方案之间更平滑、更具可解释性的行为插值。