[论文解读] Statistical Bootstrapping for Uncertainty Estimation in Off-Policy Evaluation

Ilya Kostrikov, Ofir Nachum|arXiv (Cornell University)|Jul 27, 2020

Simulation Techniques and Applications参考文献 34被引用 15

一句话总结

本文提出使用Efron自助法（Efron's bootstrap）为强化学习中的离策略评估（OPE）生成校准后的置信区间，尤其针对基于模型（MB）和Q评估（QE/FQE）方法。论文建立了理论条件——充分的数据量和充分的覆盖度——在这些条件下自助法可产生有效的置信区间，并引入噪声注入与正则化以提升在低数据或覆盖度差场景下的鲁棒性，在连续控制基准测试中实现了最先进的不确定性估计效果。

ABSTRACT

In reinforcement learning, it is typical to use the empirically observed transitions and rewards to estimate the value of a policy via either model-based or Q-fitting approaches. Although straightforward, these techniques in general yield biased estimates of the true value of the policy. In this work, we investigate the potential for statistical bootstrapping to be used as a way to take these biased estimates and produce calibrated confidence intervals for the true value of the policy. We identify conditions - specifically, sufficient data size and sufficient coverage - under which statistical bootstrapping in this setting is guaranteed to yield correct confidence intervals. In practical situations, these conditions often do not hold, and so we discuss and propose mechanisms that can be employed to mitigate their effects. We evaluate our proposed method and show that it can yield accurate confidence intervals in a variety of conditions, including challenging continuous control environments and small data regimes.

研究动机与目标

• 为解决离策略评估（OPE）中缺乏可靠不确定性估计的问题，特别是针对模型基于（MB）和Q评估（QE/FQE）等有偏估计器。
• 探究Efron自助法在应用于直接法（DM）估计时，能否为目标策略的真实值生成有效的置信区间。
• 识别出自助法产生渐近准确置信区间的理论条件——具体为充分的数据量和充分的覆盖度。
• 提出实用机制——奖励噪声和正则化——以缓解在现实OPE场景中理论条件不满足时自助法的失效问题。
• 在表格型和连续控制环境中实证验证所提方法，证明其在不确定性校准方面优于现有方法。

提出的方法

• 将Efron非参数自助法应用于直接法（DM）估计器（如基于模型的MB和拟合Q评估FQE）的输出，以生成真实策略值的置信区间。
• 推导出自助法有效的理论条件：充分的样本量和行为策略对状态-动作分布的充分覆盖。
• 引入奖励噪声作为启发式方法，通过增加估计器的有效方差来提升在低数据场景下自助法的有效性。
• 在FQE和MB中对神经网络参数应用L2正则化（权重衰减），以稳定训练并改善覆盖度，尤其在低数据设置下。
• 在基于模型的滚动过程中使用状态和奖励裁剪，以防止发散并提升自助区间鲁棒性。
• 通过覆盖概率、区间宽度和偏差等指标，在多个随机种子和环境中评估性能，包括OpenAI Gym基准测试。

实验结果

研究问题

• RQ1 在使用直接法估计器进行离策略评估时，Efron自助法在何种理论条件下可有效估计置信区间？
• RQ2 数据量不足或覆盖度差如何影响OPE中自助法置信区间的有效性？
• RQ3 在理论假设不成立的低数据场景下，奖励噪声注入是否能改善自助区间的校准效果？
• RQ4 L2正则化在多大程度上提升了基于模型和FQE的OPE方法中自助区间的可靠性？
• RQ5 在连续控制基准测试中，所提基于自助法的不确定性估计与重要性采样（IS）等现有方法相比，在覆盖度和区间宽度方面表现如何？

主要发现

• 理论分析表明，若满足充分的数据量和覆盖度条件，Efron自助法可为基于直接法的OPE估计器生成渐近有效的置信区间。
• 在低数据场景（如10条轨迹）下，标准FQE配合普通自助法会产生宽泛且校准性差的区间，尤其在Reacher环境中表现明显。
• 奖励噪声注入显著提升了低数据设置下的区间覆盖度，尽管导致区间宽度增加。
• L2正则化对稳定性能至关重要：未经正则化的FQE和MB会产生高度不准确且发散的自助区间。
• 通过合理引入噪声和正则化，结合自助法的FQE和MB在HalfCheetah和Hopper等连续控制任务中实现了最先进的不确定性校准效果。
• 与基于IS的自助法相比，该方法在区间覆盖度和可靠性方面表现更优，尤其在具有挑战性的低数据环境中。