[论文解读] MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning

Li, Kevin, Abhishek Gupta+5 more|arXiv (Cornell University)|Jul 15, 2021

Reinforcement Learning in Robotics被引用 6

一句话总结

MURAL 提出了一种元学习方法，用于训练具备不确定性感知能力的分类器，为强化学习提供校准的、以结果为导向的奖励。通过利用元学习进行归一化最大似然（NML）估计，该方法在复杂导航和机器人操作任务中实现了有效的探索与定向策略学习，在具有挑战性的环境中优于先前的方法。

ABSTRACT

Exploration in reinforcement learning is a challenging problem: in the worst case, the agent must search for high-reward states that could be hidden anywhere in the state space. Can we define a more tractable class of RL problems, where the agent is provided with examples of successful outcomes? In this problem setting, the reward function can be obtained automatically by training a classifier to categorize states as successful or not. If trained properly, such a classifier can provide a well-shaped objective landscape that both promotes progress toward good states and provides a calibrated exploration bonus. In this work, we show that an uncertainty aware classifier can solve challenging reinforcement learning problems by both encouraging exploration and provided directed guidance towards positive outcomes. We propose a novel mechanism for obtaining these calibrated, uncertainty-aware classifiers based on an amortized technique for computing the normalized maximum likelihood (NML) distribution. To make this tractable, we propose a novel method for computing the NML distribution by using meta-learning. We show that the resulting algorithm has a number of intriguing connections to both count-based exploration methods and prior algorithms for learning reward functions, while also providing more effective guidance towards the goal. We demonstrate that our algorithm solves a number of challenging navigation and robotic manipulation tasks which prove difficult or impossible for prior methods.

研究动机与目标

• 为解决强化学习中稀疏奖励与探索能力差的挑战，利用用户提供的成功结果示例。
• 开发一种可处理、可扩展的方法，从成功示例中衍生出形状良好的奖励信号，而无需人工设计奖励函数。
• 通过将不确定性估计融入奖励函数，改善探索，引导智能体前往新颖且有希望的状态。
• 在高维、连续控制任务（如机器人操作与导航）中实现有效学习。
• 利用归一化最大似然（NML）估计，提供理论基础坚实且校准的奖励信号。

提出的方法

• 使用类似生成对抗网络（GAN）的对抗目标，训练二分类器以区分用户提供的成功结果状态与当前策略访问的状态。
• 采用元学习框架，高效估计归一化最大似然（NML）分布，为分类器预测提供校准的不确定性估计。
• 将分类器预测的不确定性作为探索奖励，鼓励智能体访问模型不确定的状态。
• 结合分类器预测的成功概率与其不确定性，形成复合奖励信号，实现引导与探索之间的平衡。
• 在元训练过程中应用数据增强（如 mixup）和权重衰减，以提升分类器的泛化能力与鲁棒性。
• 通过元优化过程更新分类器，最小化支持集中成功与失败状态的 NML 损失。

实验结果

研究问题

• RQ1 基于成功示例训练的分类器能否提供形状良好、具备不确定性感知能力的奖励信号，从而改善以结果为导向的强化学习中的探索？
• RQ2 与标准分类器基奖励设计相比，通过 NML 实现的不确定性估计在样本效率与最终性能方面有何提升？
• RQ3 元学习能否使高维、连续控制设置中 NML 基不确定性计算变得可行？
• RQ4 在复杂机器人任务中，该方法是否优于计数基探索与先前的分类器基奖励学习方法？
• RQ5 该方法在多样化导航与操作环境中的泛化能力如何？

主要发现

• MURAL 在先前方法失败的挑战性机器人操作与导航任务中成功求解，例如 Sawyer 门开启、灵巧手重定位以及蚂蚁行走任务。
• 在所有评估环境中，该方法在样本效率与最终性能方面均优于 VICE、RND 以及标准分类器基强化学习基线方法。
• 具备不确定性感知的奖励信号可实现更直接的探索，相比计数基或非不确定性感知方法，显著缩短达到目标状态的时间。
• 元学习的 NML 估计无需显式密度估计即可实现准确的不确定性量化，使该方法可扩展至高维观测空间。
• 消融实验表明，若移除不确定性估计或元学习，性能将显著下降，验证了两个组件的必要性。
• 该方法在多样化任务中表现出良好的泛化能力，包括稀疏奖励与复杂动力学环境，展现出对环境变化的鲁棒性。