[论文解读] Deep Exploration via Randomized Value Functions

Ian Osband, Benjamin Van Roy+2 more|arXiv (Cornell University)|Mar 22, 2017

Advanced Bandit Algorithms Research参考文献 84被引用 68

一句话总结

论文提出一种深度强化学习方法，融合随机化值函数以驱动深度探索，利用带先验参数的马尔可夫规划式更新和一个记忆缓冲区。

ABSTRACT

We study the use of randomized value functions to guide deep exploration in reinforcement learning. This offers an elegant means for synthesizing statistically and computationally efficient exploration with common practical approaches to value function learning. We present several reinforcement learning algorithms that leverage randomized value functions and demonstrate their efficacy through computational studies. We also prove a regret bound that establishes statistical efficiency with a tabular representation.

研究动机与目标

• 通过随机化值函数表示激发深度强化学习中的高效探索。
• 定义一个结合 TD 损失、参数先验和回放缓冲区来引导探索的学习框架。
• 引入一个更新过程，生成用于规划的扰动后的值函数估计。

提出的方法

• 使用基于 TD 误差的损失的随机化值函数来更新估计。
• 维护一个用于训练的历史观测的记忆缓冲区（buffer）。
• 引入参数的先验分布（prior）以对学习进行正则化。
• 定义一个规划时域 H，它决定更新过程中的前瞻。
• 在更新序列的一部分计算扰动/更新后的值函数估计 tilde{θ}。

实验结果

研究问题

• RQ1 随机化值函数是否可以提升强化学习中深度探索的效率？
• RQ2 参数先验与回放缓冲区应如何交互以稳定深度探索？
• RQ3 规划时域在随机化值函数方法的有效性中扮演什么角色？

主要发现

• 该方法引入一个包含先验、缓冲数据和规划的结构化更新，以产生扰动后的值函数估计。
• 该方法将更新框架设定为包含 TD 误差损失、正则化函数和记忆缓冲区，旨在在探索与价值估计之间取得平衡。
• 本文概述了从先验均值和缓冲数据出发，向新的值函数估计的算法进展。