[论文解读] Information-Directed Exploration for Deep Reinforcement Learning

Nikolay Nıkolov, Johannes Kirschner+2 more|arXiv (Cornell University)|Dec 18, 2018

Advanced Bandit Algorithms Research被引用 11

一句话总结

本文提出信息导向采样（Information-Directed Sampling, IDS）用于深度强化学习，以解决回报分布中的异方差噪声问题，结合分布式强化学习与不确定性感知探索。该方法为深度Q网络设计了一种可计算的IDS变体，在Atari 2600游戏中显著优于当前最先进方法（如DQN、Bootstrapped DQN和C51），通过显式建模参数不确定性与异方差观测噪声实现性能提升。

ABSTRACT

Efficient exploration remains a major challenge for reinforcement learning. One reason is that the variability of the returns often depends on the current state and action, and is therefore heteroscedastic. Classical exploration strategies such as upper confidence bound algorithms and Thompson sampling fail to appropriately account for heteroscedasticity, even in the bandit setting. Motivated by recent findings that address this issue in bandits, we propose to use Information-Directed Sampling (IDS) for exploration in reinforcement learning. As our main contribution, we build on recent advances in distributional reinforcement learning and propose a novel, tractable approximation of IDS for deep Q-learning. The resulting exploration strategy explicitly accounts for both parametric uncertainty and heteroscedastic observation noise. We evaluate our method on Atari games and demonstrate a significant improvement over alternative approaches.

研究动机与目标

• 解决经典探索策略在深度强化学习中未能考虑异方差观测噪声的局限性。
• 将信息导向采样（IDS）从多臂赌博机扩展至大规模状态空间中的深度强化学习。
• 开发一种实用且可计算的基于IDS的探索策略，结合分布式强化学习与不确定性估计。
• 通过实证验证，考虑异方差噪声可显著提升深度强化学习的性能。
• 证明IDS在深度强化学习设置中可超越Thompson Sampling与UCB基线方法。

提出的方法

• 为深度Q学习提出一种新颖的基于IDS的探索策略，平衡遗憾与信息增益。
• 使用分布式Q学习（C51）对动作的回报分布进行建模，从而估计异方差方差。
• 通过Q网络头的集成方法估计参数不确定性，类似于Bootstrapped DQN。
• 通过结合Q值估计的不确定性与回报分布的方差，推导出IDS目标的可计算近似。
• 采用改进的损失函数，同时包含期望遗憾与期望信息增益，并引入方差下界以确保数值稳定性。
• 使用Adam优化器与标准超参数训练智能体，将$Υ$-greedy探索替换为基于IDS的动作选择。

实验结果

研究问题

• RQ1 信息导向采样（IDS）能否在大规模状态空间的深度强化学习中有效适配？
• RQ2 在回报分布中考虑异方差噪声是否能带来更优的探索与性能提升？
• RQ3 在深度Q学习中，IDS与Thompson Sampling及UCB基线方法相比表现如何？
• RQ4 分布式强化学习方法是否能增强IDS在深度强化学习中的性能？
• RQ5 IDS带来的性能提升源于更优的不确定性建模，还是更优的信息增益估计？

主要发现

• C51-IDS在训练200M帧后，于Atari 2600上达到174.8的平均人类归一化得分，显著优于C51（135.5）与QR-DQN。
• DQN-IDS的平均人类归一化得分比Bootstrapped DQN高出约200%，证明IDS在性能上优于Thompson Sampling。
• 尽管IQN专门针对风险敏感性进行了调优，C51-IDS仍取得略优的性能表现。
• DQN-IDS与C51-IDS之间的性能差距表明，建模异方差噪声是性能提升的关键因素。
• 在未使用方差下界的情况下，平均人类归一化得分仅变化23%，验证了方法的鲁棒性。
• 初步结果表明，IDS可扩展至DDPG等连续控制方法，显示出更广泛的应用潜力。