[论文解读] Coverage as a Principle for Discovering Transferable Behavior in Reinforcement Learning

Víctor Campos, Pablo Sprechmann+6 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出在预训练过程中使用覆盖最大化来发现强化学习中的可迁移行为。通过训练策略以探索多样化的状态-动作区域，所得行为在下游任务中既能有效利用又能实现结构化探索，显著提升了样本效率和回报，尤其在需要非平凡探索的复杂环境中表现突出。

ABSTRACT

Designing agents that acquire knowledge autonomously and use it to solve new tasks efficiently is an important challenge in reinforcement learning. Unsupervised learning provides a useful paradigm for autonomous acquisition of task-agnostic knowledge. In supervised settings, representations discovered through unsupervised pre-training offer important benefits when transferred to downstream tasks. Given the nature of the reinforcement learning problem, we explore how to transfer knowledge through behavior instead of representations. The behavior of pre-trained policies may be used for solving the task at hand (exploitation), as well as for collecting useful data to solve the problem (exploration). We argue that pre-training policies to maximize coverage will result in behavior that is useful for both strategies. When using these policies for both exploitation and exploration, our agents discover solutions that lead to larger returns. The largest gains are generally observed in domains requiring structured exploration, including settings where the behavior of the pre-trained policies is misaligned with the downstream task.

研究动机与目标

• 为解决在无任务特定监督的情况下跨强化学习任务迁移知识的挑战。
• 探讨行为（而非表征）是否可作为强化学习中可迁移知识载体。
• 研究是否通过预训练策略以最大化状态-动作覆盖，可产生更有效的下游行为。
• 提升在需要结构化探索的环境中样本效率和性能。
• 评估覆盖驱动预训练在行为与下游任务不匹配的常见领域中的有效性。

提出的方法

• 使用内在好奇心或基于内在回报的目标，预训练策略以最大化状态-动作空间的覆盖。
• 在微调过程中，既直接利用预训练策略，也用于数据收集。
• 将预训练行为作为下游任务探索的先验，鼓励生成结构化且多样的轨迹。
• 结合内在奖励与外在奖励训练策略，将覆盖作为内在信号的关键组成部分。
• 在具有不同程度探索复杂度的多个环境中评估迁移性能。
• 利用预训练策略的行为引导下游强化学习算法的探索，提升数据效率。

实验结果

研究问题

• RQ1 覆盖最大化预训练能否产生在下游任务中既适用于利用又适用于探索的行为？
• RQ2 基于覆盖的预训练是否能提升在需要结构化探索环境中的样本效率和最终回报？
• RQ3 在迁移设置中，覆盖优化策略的行为与任务特定策略的行为相比如何？
• RQ4 在行为与下游任务不匹配的环境中，基于覆盖的预训练在哪些类型环境中最为有益？
• RQ5 基于覆盖的行为能否作为下游强化学习智能体的通用先验？

主要发现

• 通过最大化覆盖进行预训练，可产生在下游任务中对利用和探索均极为有效的行为。
• 在需要结构化探索的环境中，性能提升最为显著，此时标准行为可能与任务不匹配。
• 使用覆盖优化的预训练策略的智能体，在稀疏奖励设置下相比基线方法获得更高的回报。
• 该方法提升了数据效率，减少了达到高性能所需的环境交互次数。
• 在行为迁移比特征迁移更相关的情境下，基于覆盖的预训练优于基于表征的迁移方法。
• 该方法在多种环境中均表现稳健，包括具有复杂动力学的连续控制和导航任务。