[论文解读] Reinforcement Learning, Bit by Bit

Xiuyuan Lu, Benjamin Van Roy+4 more|arXiv (Cornell University)|Mar 6, 2021

Advanced Bandit Algorithms Research参考文献 81被引用 5

一句话总结

本文提出信息导向采样（Information Directed Sampling, IDS）作为一种强化学习中的原则性探索策略，通过优化信息增益与期望奖励之间的权衡，提升数据效率。通过使用集成神经网络估计价值函数的不确定性，并选择每单位期望奖励下信息增益最大的动作，该方法在复杂强化学习基准测试中，特别是在稀疏奖励和高维设置下，优于ε-贪婪和汤普森采样策略。

ABSTRACT

Reinforcement learning agents have demonstrated remarkable achievements in simulated environments. Data efficiency poses an impediment to carrying this success over to real environments. The design of data-efficient agents calls for a deeper understanding of information acquisition and representation. We discuss concepts and regret analysis that together offer principled guidance. This line of thinking sheds light on questions of what information to seek, how to seek that information, and what information to retain. To illustrate concepts, we design simple agents that build on them and present computational results that highlight data efficiency.

研究动机与目标

• 为解决强化学习中的数据效率问题，提出一种平衡信息增益与期望奖励的原则性探索策略。
• 为学习过程中应寻求何种信息、如何寻求以及应保留什么信息，提供理论指导。
• 在数据收集成本高昂的真实世界环境中，提升样本效率。
• 证明IDS在具有挑战性的强化学习任务中优于标准探索策略（如ε-贪婪和汤普森采样）。
• 通过遗憾分析与信息论原理，建立设计数据高效智能体的框架。

提出的方法

• 提出信息导向采样（IDS）作为动作选择策略，平衡期望奖励与对最优动作的信息增益。
• 使用神经网络集成（ENN）对动作值的后验分布进行建模，实现不确定性估计。
• 在上下文bandit和价值函数设置中，采用基于观测结果与预测结果之间交叉熵的损失函数来指导学习。
• 使用ADAM优化的随机梯度下降与小批量更新训练ENN，动作选择基于信息增益的近似值。
• 通过集成中价值估计的样本方差近似信息增益，每步使用 $ n_{\text{ens}} = 40 $ 个样本。
• 将IDS集成到深度Q网络和bandit智能体中，并与ε-贪婪和汤普森采样进行性能比较。

实验结果

研究问题

• RQ1 强化学习智能体应寻求何种信息，以高效地最大化长期奖励？
• RQ2 智能体在探索过程中，应如何平衡获取信息的成本与预期收益？
• RQ3 在序列决策过程中，保留与更新信息的最优策略是什么？
• RQ4 在数据效率与样本复杂度方面，IDS与汤普森采样和ε-贪婪相比表现如何？
• RQ5 信息论原则能否在深度强化学习中导出可证明更优的探索策略？

主要发现

• 在多个bsuite任务中，IDS在数据效率方面显著优于ε-贪婪和汤普森采样，尤其在稀疏奖励环境中表现突出。
• 在bsuite基准测试中，IDS与汤普森采样整体性能相近，两者均显著优于在探索密集型任务中表现较差的ε-贪婪。
• 该方法在高维和稀疏bandit问题中表现出色，信息增益对快速收敛至关重要。
• 使用集成神经网络可实现精确的不确定性估计，这对有效的信息导向动作选择至关重要。
• 实证结果表明，IDS对噪声的敏感性低于ε-贪婪，但ε-贪婪在尺度变化下表现出更强的鲁棒性。
• 理论分析与计算结果均证实，IDS通过优化信息增益与期望奖励的比值，最小化了遗憾。