[论文解读] CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning

Chenyu Sun, Hangwei Qian+1 more|arXiv (Cornell University)|May 2, 2022

Reinforcement Learning in Robotics参考文献 48被引用 5

一句话总结

该论文提出CCLF，一种与模型无关的、基于对比好奇心的框架，通过优先处理探索不足的经验、选择信息量丰富的数据增强方式，并利用基于惊讶度的 curiosity 对Q网络和编码器进行正则化，从而提升强化学习中的样本效率。该方法在DeepMind Control、Atari和MiniGrid基准测试中实现了最先进性能，显著减少了数据使用量并提高了稳定性。

ABSTRACT

In reinforcement learning (RL), it is challenging to learn directly from high-dimensional observations, where data augmentation has recently been shown to remedy this via encoding invariances from raw pixels. Nevertheless, we empirically find that not all samples are equally important and hence simply injecting more augmented inputs may instead cause instability in Q-learning. In this paper, we approach this problem systematically by developing a model-agnostic Contrastive-Curiosity-Driven Learning Framework (CCLF), which can fully exploit sample importance and improve learning efficiency in a self-supervised manner. Facilitated by the proposed contrastive curiosity, CCLF is capable of prioritizing the experience replay, selecting the most informative augmented inputs, and more importantly regularizing the Q-function as well as the encoder to concentrate more on under-learned data. Moreover, it encourages the agent to explore with a curiosity-based reward. As a result, the agent can focus on more informative samples and learn representation invariances more efficiently, with significantly reduced augmented inputs. We apply CCLF to several base RL algorithms and evaluate on the DeepMind Control Suite, Atari, and MiniGrid benchmarks, where our approach demonstrates superior sample efficiency and learning performances compared with other state-of-the-art methods.

研究动机与目标

• 为解决高维强化学习中均匀数据增强的低效性，识别出并非所有样本对学习都同等重要。
• 通过引入一种自监督的、基于好奇心的机制，优先处理探索不足且信息量丰富的经验，提升样本效率和学习稳定性。
• 开发一种与模型无关的框架，将对比好奇心整合到强化学习的四个关键组件中：经验回放、输入选择、正则化和内在探索。
• 在减少对过度增强输入依赖的同时，保持表征不变性，并从原始像素中提升泛化能力。
• 在标准强化学习基准上实现最先进性能，同时降低方差并提高数据效率。

提出的方法

• CCLF基于对比表示学习模块的预测误差引入一种对比好奇心信号，复用CURL损失来量化惊讶度，无需增加网络参数。
• 将对比好奇心用于优先处理经验回放缓冲区中的过渡，优先选择更令人惊讶或学习不足的样本。
• 通过聚焦于能最大化预测不确定性的增强输入，指导选择最具信息量的输入。
• 利用好奇心信号对Q函数和编码器进行正则化，使学习集中于令人惊讶且探索不足的观测。
• 添加基于内在好奇心的奖励，以鼓励智能体探索新颖且未充分学习的状态。
• 以模块化、与模型无关的方式将该框架应用于在线策略和离线策略强化学习算法。

Figure 1 : C ontrastive- C uriosity-driven L earning F ramework (CCLF): a batch of transitions are sampled w.r.t. their prioritization weights. Image augmentation is performed to obtain $M$ augmented $o_{t}$ and $K$ augmented $o^{\prime}_{t}$ . The curiosity appraisal module quantitatively evaluates

实验结果

研究问题

• RQ1 基于对比表示学习的自监督好奇心机制能否提升深度强化学习中的样本效率？
• RQ2 与均匀数据增强相比，优先处理探索不足且信息量丰富的数据增强是否能带来更稳定和高效的训练？
• RQ3 对比好奇心能否在不增加模型复杂度的前提下，有效集成到强化学习流程的多个组件中——包括经验回放、输入选择、正则化和探索？
• RQ4 在所有四个组件中协同使用对比好奇心如何影响学习的稳定性和最终性能？
• RQ5 CCLF在多大程度上可以减少增强输入的数量，同时保持或提升表征不变性和样本效率？

主要发现

• 在100K环境步长时，CCLF的平均得分比表现最佳的基线方法（Reward+Selection）高出1.22倍，证明其具有更优的样本效率。
• 在500K步长时，CCLF达到最高渐近性能（869 ± 9），标准差最低（±9），表明其学习过程稳定且鲁棒。
• 移除选择或正则化组件后，在100K步长时性能下降29–33%，且方差更高，表明二者在稳定性和效率中起着关键作用。
• 即使在无奖励变体中，CCLF仍优于多个基线方法，表明CCLF的核心优势源于优先处理、选择和正则化机制，而不仅仅是内在奖励。
• CCLF通过仅聚焦于最具信息量和令人惊讶的样本，减少了对过度数据增强的依赖，提升了数据效率，同时未牺牲表征不变性学习。
• 该框架在多种基准测试中均表现优异，包括DeepMind Control、Atari和MiniGrid，展现出广泛的适用性与最先进性能。

Figure 2 : Learning performances on the continuous control tasks from the DMC Suite (Selected). The proposed CCLF on SAC outperforms the other baseline methods in terms of sample efficiency and converges much faster, averaged by 6 random runs.