[论文解读] Learning more skills through optimistic exploration

DJ Strouse, Kate Baumli+3 more|arXiv (Cornell University)|Jul 29, 2021

Reinforcement Learning in Robotics参考文献 35被引用 4

一句话总结

该论文提出DISDAIN，一种基于判别器集合分歧来估计认知不确定性并鼓励在无监督技能发现中探索的内在探索奖励。通过奖励能够减少判别器预测不确定性（尤其是在新状态中）的策略行为，DISDAIN克服了悲观探索问题，在网格世界和Atari游戏中的技能学习效果显著优于基线方法。

ABSTRACT

Unsupervised skill learning objectives (Gregor et al., 2016, Eysenbach et al., 2018) allow agents to learn rich repertoires of behavior in the absence of extrinsic rewards. They work by simultaneously training a policy to produce distinguishable latent-conditioned trajectories, and a discriminator to evaluate distinguishability by trying to infer latents from trajectories. The hope is for the agent to explore and master the environment by encouraging each skill (latent) to reliably reach different states. However, an inherent exploration problem lingers: when a novel state is actually encountered, the discriminator will necessarily not have seen enough training data to produce accurate and confident skill classifications, leading to low intrinsic reward for the agent and effective penalization of the sort of exploration needed to actually maximize the objective. To combat this inherent pessimism towards exploration, we derive an information gain auxiliary objective that involves training an ensemble of discriminators and rewarding the policy for their disagreement. Our objective directly estimates the epistemic uncertainty that comes from the discriminator not having seen enough training examples, thus providing an intrinsic reward more tailored to the true objective compared to pseudocount-based methods (Burda et al., 2019). We call this exploration bonus discriminator disagreement intrinsic reward, or DISDAIN. We demonstrate empirically that DISDAIN improves skill learning both in a tabular grid world (Four Rooms) and the 57 games of the Atari Suite (from pixels). Thus, we encourage researchers to treat pessimism with DISDAIN.

研究动机与目标

• 为解决变分技能发现中固有的‘悲观探索’问题，即新状态导致判别器预测置信度低，从而抑制探索。
• 区分认知不确定性（策略表现差）与认知不确定性（缺乏训练数据），后者是探索的有益信号。
• 设计一种专用于技能发现的内在探索奖励，直接估计并奖励关于判别器参数的信息增益。
• 通过实证验证，所提出的DISDAIN奖励能显著提升在表格型和基于像素的环境中学习到的技能数量与多样性。

提出的方法

• 训练一组参数化的技能判别器，通过成员间预测分歧来估计认知不确定性。
• 将DISDAIN奖励定义为集合平均判别器预测的负熵，当预测不确定且多样化时该值增大。
• 将DISDAIN奖励用作内在奖励信号以优化策略，鼓励其探索集合预测分歧较大的状态。
• 从贝叶斯视角形式化推导DISDAIN，使用集合建模判别器参数的后验分布，并最大化信息增益。
• 将DISDAIN集成到现有的变分信息最大化技能学习框架（如DIAYN）中，而不修改核心技能学习目标。
• 通过消融实验调整超参数（如集合大小和奖励权重），以平衡内在与外在奖励。

实验结果

研究问题

• RQ1 在技能发现过程中，判别器的基于集合的分歧能否作为认知不确定性的可靠信号？
• RQ2 将DISDAIN用作内在奖励是否能提升无监督技能发现中学习到的技能数量与多样性？
• RQ3 DISDAIN在技能学习性能上与基于伪计数和RND的探索奖励相比如何？
• RQ4 DISDAIN在不同超参数设置和环境下的性能是否保持稳定？

主要发现

• 在Four Rooms网格世界中，DISDAIN显著提升了技能学习效果，与无奖励训练相比，发现的独立技能数量增加了25%。
• 在Atari 2600套件上，DISDAIN在零样本奖励性能和终身状态覆盖方面均优于无奖励基线和RND增强基线。
• 当RND的奖励权重增加时，其不仅未能提升技能学习效果，反而损害了性能，表明其与非平稳技能学习目标存在不兼容性。
• 仅使用集合的基线方法（无DISDAIN奖励）改进微弱，证实内在奖励机制本身是关键，而非集合本身。
• DISDAIN在广泛的超参数设置（包括集合大小和奖励权重）下均保持强性能，表现出良好的鲁棒性。
• 定性分析显示，DISDAIN在零样本评估中带来更高的改进概率，并在Atari游戏中实现了更优的百分位改进分布。