[论文解读] Towards Effective Context for Meta-Reinforcement Learning: an Approach based on Contrastive Learning

Haotian Fu, Hongyao Tang+5 more|arXiv (Cornell University)|Sep 29, 2020

Reinforcement Learning in Robotics参考文献 33被引用 9

一句话总结

本文提出 CCM，一种新颖的元强化学习框架，通过对比学习进行上下文编码，并采用基于信息增益的探索策略来提升上下文质量。通过训练对比编码器以区分特定任务的轨迹，并优化探索以收集信息量丰富的转移状态，CCM 在连续控制基准测试中实现了最先进性能，展现出更优的泛化能力和样本效率。

ABSTRACT

Context, the embedding of previous collected trajectories, is a powerful construct for Meta-Reinforcement Learning (Meta-RL) algorithms. By conditioning on an effective context, Meta-RL policies can easily generalize to new tasks within a few adaptation steps. We argue that improving the quality of context involves answering two questions: 1. How to train a compact and sufficient encoder that can embed the task-specific information contained in prior trajectories? 2. How to collect informative trajectories of which the corresponding context reflects the specification of tasks? To this end, we propose a novel Meta-RL framework called CCM (Contrastive learning augmented Context-based Meta-RL). We first focus on the contrastive nature behind different tasks and leverage it to train a compact and sufficient context encoder. Further, we train a separate exploration policy and theoretically derive a new information-gain-based objective which aims to collect informative trajectories in a few steps. Empirically, we evaluate our approaches on common benchmarks as well as several complex sparse-reward environments. The experimental results show that CCM outperforms state-of-the-art algorithms by addressing previously mentioned problems respectively.

研究动机与目标

• 通过解决两个关键局限性来提升元强化学习中潜在上下文的质量：噪声上下文编码器和次优的轨迹收集。
• 开发一种基于对比学习的方法，直接在轨迹中区分特定任务信息，而无需建模无关依赖关系。
• 设计一种基于信息论的探索目标，以最小交互次数实现最大上下文质量提升。
• 通过从信息丰富的轨迹中生成高质量、任务可区分的上下文，实现高效的离策略元强化学习。
• 在复杂且稀疏奖励的环境中验证该框架，这些环境是以往方法在样本效率和泛化能力方面表现不佳的场景。

提出的方法

• 提出一种对比学习框架，通过将同一任务中的转移状态视为正样本对，不同任务中的转移状态视为负样本对，来训练上下文编码器。
• 使用 InfoNCE 对比损失，最大化特定任务轨迹与其嵌入之间的互信息，确保上下文表征紧凑且具有任务特异性。
• 引入一个独立的探索策略，其内在奖励基于对比框架中信息增益的理论下界进行训练。
• 探索目标被设计为在每次新增转移后最大化上下文推理质量的提升，从而促进数据效率。
• 通过将策略条件化于学习到的上下文，实现离策略元强化学习，使模型能以极少交互快速适应新任务。
• 采用两阶段流水线联合训练上下文编码器与探索策略：首先通过对比损失预训练编码器，然后使用内在奖励训练探索智能体。

实验结果

研究问题

• RQ1 如何通过确保上下文仅捕捉特定任务信息并剔除无关依赖，来提升元强化学习中潜在上下文的质量？
• RQ2 对比学习能否有效应用于轨迹级表征，以自监督方式区分不同任务？
• RQ3 如何设计一种探索策略，以收集对上下文推理最具信息量的轨迹，特别是在稀疏奖励环境中？
• RQ4 基于信息增益的内在奖励是否能带来比标准探索方法更优的上下文质量与更快的适应速度？
• RQ5 结合对比学习增强的上下文编码器与基于信息论的探索策略，是否能超越现有 SOTA 元强化学习算法？

主要发现

• CCM 在标准连续控制基准测试中实现了最先进性能，包括稀疏奖励环境，在样本效率和最终性能方面均优于先前方法。
• 对比上下文编码器显著降低了潜在表征中的噪声，仅聚焦于任务可区分特征，这通过在任务间实现更优的零样本泛化能力得到验证。
• 基于信息增益的探索策略收集的轨迹在上下文推理方面更有效，从而在元测试期间实现更快、更稳定的适应。
• 实证结果表明，CCM 显著减少了实现有效适应所需的交互次数，尤其在复杂且稀疏奖励的环境中，此前方法表现不佳。
• 消融实验确认，上下文编码器的对比训练与信息增益探索目标均对性能提升有显著贡献。
• CCM 在多种任务分布下表现出鲁棒性，包括仅存在目标差异的任务，而标准探索方法往往无法收集到具有区分性的转移状态。