[论文解读] A Survey of Exploration Methods in Reinforcement Learning

Susan Amin, Maziar Gomrokchi+3 more|arXiv (Cornell University)|Sep 1, 2021

Reinforcement Learning in Robotics参考文献 204被引用 5

一句话总结

本综述提供了强化学习中探索方法的全面分类与概述，根据探索过程中使用的资讯将方法分为无奖励和基于奖励的两类。它强调了内在好奇心、后验采样和基于不确定性的探索等关键技术，在Atari和表格型MDP等基准环境中的实证成功，其中Successor Uncertainties在49款Atari游戏中有36款优于Bootstrapped DQN。

ABSTRACT

Exploration is an essential component of reinforcement learning algorithms, where agents need to learn how to predict and control unknown and often stochastic environments. Reinforcement learning agents depend crucially on exploration to obtain informative data for the learning process as the lack of enough information could hinder effective learning. In this article, we provide a survey of modern exploration methods in (Sequential) reinforcement learning, as well as a taxonomy of exploration methods.

研究动机与目标

• 为序列强化学习中的现代探索方法提供结构化、高层次的概述。
• 基于方法所使用的信息（特别是奖励、状态访问频率和不确定性）建立探索技术的分类体系。
• 通过比较各方法的优势、局限性和实证性能，指导从业者选择有效的探索策略。
• 突出显示乐观性面对不确定性、概率匹配和基于模型的探索等关键算法族。
• 解决探索文献中缺乏标准化评估指标和基准任务的问题。

提出的方法

• 将探索方法分为两大类：无奖励类（如随机动作、内在好奇心）和基于奖励类（如不确定性、乐观性、后验采样）。
• 根据所使用的信息类型对方法进行分组：状态访问频次、预测不确定性或价值函数的后验分布。
• 提出Successor Uncertainties (SU)，一种无模型方法，通过从学习到的奖励和转移后验中解析推导后验价值估计。
• 采用分层分类法，包含子类别如无记忆型与有记忆型，以及内在奖励与外部奖励的利用方式。
• 回顾代表性算法，如PSRL、Bootstrapped DQN和内在好奇心模块，强调其设计原则和实证行为。
• 聚焦于实用洞见和实证性能，而非样本复杂度的理论分析或数学证明。

实验结果

研究问题

• RQ1 探索方法能否基于其在动作选择期间所使用的信息进行系统性分类？
• RQ2 在性能和可扩展性方面，无方向探索与有方向探索策略的关键差异是什么？
• RQ3 在复杂环境中，无模型与基于模型的探索方法在样本效率和实证成功方面如何比较？
• RQ4 内在好奇心和基于不确定性的探索在稀疏奖励环境中在多大程度上提升了学习效果？
• RQ5 为何探索方法的评估指标尚未达成共识，这如何阻碍方法间的比较？

主要发现

• Successor Uncertainties (SU) 在49款Atari游戏中的36款上优于Bootstrapped DQN，表明其在大规模环境中具有强大的实证性能。
• 在200个状态的复杂表格型链问题中，SU相较于基线方法表现出更优性能，凸显其可扩展性和有效性。
• 无奖励探索方法（如内在好奇心）在稀疏或延迟奖励环境中尤为有效。
• 基于后验采样和不确定性估计的方法（如SU）在模型后验与策略选择之间保持一致性，从而提升样本效率。
• 尽管实证结果表现强劲，但评估指标尚未达成共识，性能在状态覆盖、遗憾值和信息增益等不同度量下存在差异。
• 理论保证通常与实际性能不一致，原因在于未满足诸如表格型或线性函数近似等假设。