[论文解读] Temporal Difference Uncertainties as a Signal for Exploration

Sebastian Flennerhag, Jane X. Wang+8 more|arXiv (Cornell University)|Oct 5, 2020

Reinforcement Learning in Robotics参考文献 52被引用 7

一句话总结

本文提出时序差分不确定性（TDU），一种强化学习中探索的新方法，通过估计时序差分（TD）误差的不确定性，生成内在探索信号。通过将不确定性条件化于观测到的状态-动作转移，TDU 将模型不确定性与环境噪声分离，使独立的探索策略能够聚焦于高不确定性状态，从而在 Montezuma’s Revenge 和 Deep Sea 等具有挑战性的探索任务中实现更高的数据效率和性能。

ABSTRACT

An effective approach to exploration in reinforcement learning is to rely on an agent's uncertainty over the optimal policy, which can yield near-optimal exploration strategies in tabular settings. However, in non-tabular settings that involve function approximators, obtaining accurate uncertainty estimates is almost as challenging a problem. In this paper, we highlight that value estimates are easily biased and temporally inconsistent. In light of this, we propose a novel method for estimating uncertainty over the value function that relies on inducing a distribution over temporal difference errors. This exploration signal controls for state-action transitions so as to isolate uncertainty in value that is due to uncertainty over the agent's parameters. Because our measure of uncertainty conditions on state-action transitions, we cannot act on this measure directly. Instead, we incorporate it as an intrinsic reward and treat exploration as a separate learning problem, induced by the agent's temporal difference uncertainties. We introduce a distinct exploration policy that learns to collect data with high estimated uncertainty, which gives rise to a curriculum that smoothly changes throughout learning and vanishes in the limit of perfect value estimates. We evaluate our method on hard exploration tasks, including Deep Sea and Atari 2600 environments and find that our proposed form of exploration facilitates both diverse and deep exploration.

研究动机与目标

• 解决在使用函数逼近器的非表格型强化学习中，可靠估计价值函数不确定性的挑战。
• 减少因未观测到的未来状态访问导致的价值函数不确定性估计偏差。
• 开发一种可扩展的探索信号，将模型不确定性与环境不确定性分离。
• 通过训练基于不确定性驱动内在奖励的独立策略，实现高效探索。
• 在具有挑战性的探索型 Atari 环境和 Deep Sea 中，展示更高的数据效率和最终性能。

提出的方法

• TDU 估计时序差分（TD）误差的不确定性，而非直接估计价值函数的不确定性，从而减少未来状态访问不确定性带来的偏差。
• 通过将不确定性估计条件化于观测到的状态-动作转移，控制环境可变性并隔离模型不确定性。
• 训练一个独立的探索策略，以最大化基于这些 TD 不确定性的内在奖励，从而将探索与策略优化解耦。
• 该方法在价值优化策略与探索策略之间共享经验回放缓冲区，支持基于 Bootstrap 的不确定性估计。
• 内在奖励通过奖励增强超参数 β 进行缩放，该参数控制探索强度，可针对不同环境进行调优。
• TDU 在双策略设置中使用 Bootstrapped DQN 进行评估，其中‘掠夺者’学习最优策略，而‘探索者’基于不确定性收集数据。

实验结果

研究问题

• RQ1 对时序差分误差的不确定性估计，是否能提供比直接估计价值函数不确定性更可靠、更少偏差的探索信号？
• RQ2 在函数逼近设置中，将不确定性条件化于观测到的状态-动作转移，是否能减少偏差并提高探索效率？
• RQ3 通过基于不确定性内在奖励训练的独立探索策略，是否能实现比标准探索方法更高的数据效率和最终性能？
• RQ4 探索奖励增强强度（β）在包括高难度探索和密集奖励游戏在内的多样化环境中，如何影响性能？
• RQ5 在 TDU 框架中，引入先验函数在多大程度上能提升性能？

主要发现

• 在 Montezuma’s Revenge、Private Eye、Venture 和 Gravitar 等高难度探索游戏中，TDU 在最终平均得分和数据效率方面均实现了统计上显著的提升。
• 在 Montezuma’s Revenge 中，不使用先验函数的 TDU 显著优于基线方法，表现出更高的最终性能和更快的收敛速度。
• 在完整的 Atari 57 款游戏套件中，降低探索奖励强度（λ=0.1）在不损害高探索需求游戏性能的前提下，提升了平均人类归一化得分（HNS）。
• 使用先验函数的 TDU 在 Montezuma’s Revenge、Private Eye 和 Gravitar 中均实现了统计上显著的性能提升，表明先验函数在最困难环境中能增强性能。
• 在密集奖励和高探索需求的游戏上，该方法在所有基线方法中表现最优或持平，且在 Seaquest 和 Tennis 等游戏中，平均 HNS 显著提升，收敛速度更快。
• 消融研究显示，探索奖励强度（β）对性能有显著影响，需进行最优调优才能获得最大收益，尤其在密集奖励环境中更为关键。