[论文解读] Generalization and Exploration via Randomized Value Functions
本文提出随机化最小二乘值迭代（RLSVI），一种强化学习算法，通过从统计上合理的值函数中采样，而非依赖效率低下的方法（如 $\epsilon$-greedy 或 Boltzmann 探索），来增强探索与泛化能力。在无背景知识（tabula rasa）设置下，RLSVI 达到了近似最优的遗憾界 $\tilde{O}(\sqrt{H^3SAT})$，证明了其理论效率，并在计算效率上显著优于基线方法。
We propose randomized least-squares value iteration (RLSVI) -- a new reinforcement learning algorithm designed to explore and generalize efficiently via linearly parameterized value functions. We explain why versions of least-squares value iteration that use Boltzmann or epsilon-greedy exploration can be highly inefficient, and we present computational results that demonstrate dramatic efficiency gains enjoyed by RLSVI. Further, we establish an upper bound on the expected regret of RLSVI that demonstrates near-optimality in a tabula rasa learning context. More broadly, our results suggest that randomized value functions offer a promising approach to tackling a critical challenge in reinforcement learning: synthesizing efficient exploration and effective generalization.
研究动机与目标
- 为解决在大规模状态-动作空间中高效探索的挑战，特别是在需要值函数泛化时。
- 克服传统探索策略（如 $\epsilon$-greedy 和 Boltzmann 探索）在基于值的强化学习中的低效性。
- 开发一种可证明高效的算法，利用线性参数化值函数进行泛化，同时保持强大的探索特性。
- 建立理论遗憾界，使其与已知下界仅相差对数因子，从而证明近似最优性。
提出的方法
- RLSVI 使用最小二乘值迭代，并通过随机采样值函数来引导探索。
- 不采用动作扰动策略，而是通过从值函数的后验分布中采样，反映统计不确定性。
- 该算法维护一个线性参数化的值函数，并利用收集到的转移数据进行最小二乘回归更新。
- 采用贝叶斯框架，从后验分布中采样值函数，从而实现有原则的探索。
- 该方法专为有限时域 $H$ 的 episodic 表格型 MDP 设计，并采用基于置信区间的更新规则。
- 理论分析利用遗憾分解，并对采样值函数的期望次优性进行有界分析。
实验结果
研究问题
- RQ1在基于值的强化学习中，值函数的随机采样是否能比标准的 $\epsilon$-greedy 或 Boltzmann 探索带来更高效的探索？
- RQ2RLSVI 是否能在使用线性函数逼近时实现可证明高效的强化学习，并匹配已知的下界？
- RQ3在样本效率方面，RLSVI 的泛化性能与采用动作扰动的 LSVI 相比如何？
- RQ4使用随机化值函数能否同时实现有效的泛化与高效的探索？
主要发现
- RLSVI 达到了 $\tilde{O}(\sqrt{H^3SAT})$ 的遗憾界，与已知的表格型强化学习最坏情况下的下界仅相差对数因子。
- 计算结果表明，RLSVI 在样本效率方面显著优于采用 $\epsilon$-greedy 或 Boltzmann 探索的 LSVI。
- 该算法是首个在无背景知识设置下，既可证明高效，又能通过线性参数化值函数实现泛化的强化学习方法。
- 理论分析证实，与动作扰动相比，随机化值函数采样能带来更优的探索效果，尤其在高维或复杂的状态空间中。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。