[论文解读] Exploration via Elliptical Episodic Bonuses

Mikael Henaff, Roberta Răileanu+2 more|arXiv (Cornell University)|Oct 11, 2022

Reinforcement Learning in Robotics被引用 8

一句话总结

该论文提出E3B（基于椭圆 episodic 奖励的探索），一种新型强化学习方法，适用于连续、高维状态空间，通过在学习到的嵌入空间中使用椭圆奖励来推广基于计数的 episodic 奖励。结合自监督的逆动力学模型以捕捉环境中的可控制方面，E3B在16个MiniHack任务上达到最先进性能，在VizDoom上与顶尖方法表现相当，并在无奖励探索任务中优于现有方法，且无需任务特定的归纳偏置。

ABSTRACT

In recent years, a number of reinforcement learning (RL) methods have been proposed to explore complex environments which differ across episodes. In this work, we show that the effectiveness of these methods critically relies on a count-based episodic term in their exploration bonus. As a result, despite their success in relatively simple, noise-free settings, these methods fall short in more realistic scenarios where the state space is vast and prone to noise. To address this limitation, we introduce Exploration via Elliptical Episodic Bonuses (E3B), a new method which extends count-based episodic bonuses to continuous state spaces and encourages an agent to explore states that are diverse under a learned embedding within each episode. The embedding is learned using an inverse dynamics model in order to capture controllable aspects of the environment. Our method sets a new state-of-the-art across 16 challenging tasks from the MiniHack suite, without requiring task-specific inductive biases. E3B also matches existing methods on sparse reward, pixel-based VizDoom environments, and outperforms existing methods in reward-free exploration on Habitat, demonstrating that it can scale to high-dimensional pixel-based observations and realistic environments.

研究动机与目标

• 解决现有探索方法在上下文马尔可夫决策过程（CMDPs）中泛化能力差的问题，其中环境在不同episode间发生变化。
• 识别基于计数的 episodic 奖励在当前成功探索方法中的关键作用，尽管其在噪声大或高维设置下会失效。
• 开发一种可扩展、通用的探索方法，适用于多样化的现实环境，且无需任务特定的归纳偏置。
• 实现在高维像素观测以及具有动态或无关特征的环境中的有效探索。

提出的方法

• E3B在episode级别引入一种椭圆奖励，通过在学习到的嵌入空间中建模状态访问多样性，将基于计数的奖励推广至连续状态空间。
• 嵌入空间通过逆动力学模型学习，该模型通过从状态转移中预测动作来捕捉环境的可控制方面。
• 椭圆奖励以嵌入空间中的马氏距离形式计算，鼓励在学习到的动力学下探索多样化状态。
• 该方法使用协方差正则化项（λ）来稳定椭圆奖励的估计并提高鲁棒性。
• 通过聚焦于对可控性具有信息量的特征，避免依赖原始观测，从而降低对噪声和无关视觉细节的敏感性。
• 该方法具有可扩展性，且无需任务特定的网络架构修改或先验知识。

实验结果

研究问题

• RQ1 为何现有基于 episodic 奖励的探索方法在复杂、噪声大或高维环境中会失效，尽管其在简单环境中表现成功？
• RQ2 如何在保持有效性的同时，将基于计数的 episodic 奖励推广至连续状态空间？
• RQ3 自监督的逆动力学模型能否提供一种鲁棒且通用的特征表示，从而在多样化任务中实现有效探索？
• RQ4 椭圆奖励机制在真实、基于像素的环境中在探索效率和样本效率方面有多大的提升？
• RQ5 与任务特定或启发式奖励方法相比，E3B在多样化基准测试中的一般化能力和性能表现如何？

主要发现

• E3B在16个具有挑战性的MiniHack任务上达到最先进性能，且无需任何任务特定的归纳偏置，显著优于先前方法如NovelD、RIDE和AGAC。
• 该方法在Habitat环境的密集奖励无奖励探索任务中显著优于现有方法，证明其在真实世界、高维观测环境中的可扩展性。
• 在VizDoom环境中，E3B在稀疏奖励、基于像素的任务上与现有最先进方法性能相当。
• 消融研究证实，基于计数的 episodic 奖励对性能至关重要，而使用原始观测会导致性能差，原因是时间计数唯一化使每个观测都不同。
• E3B对协方差正则化参数λ的选择具有鲁棒性，在λ值从0.01到1.0的范围内均无显著性能下降，表明其稳定且易于超参数调优。
• 该方法能有效处理具有动态实体和无关特征的环境（如MiniHack中的关闭门），而此前依赖符号或图像奖励的方法因虚假状态重复而失效。