[论文解读] Data-Efficient Off-Policy Policy Evaluation for Reinforcement Learning
本文提出MAGIC，一种新颖的离策略策略评估算法，通过混合机制将加权双重稳健（WDR）与基于模型的估计器相结合，以最小化均方误差。通过利用离策略j步回报和自适应加权，MAGIC在低数据场景下实现的估计误差比以往方法低数个数量级。
In this paper we present a new way of predicting the performance of a reinforcement learning policy given historical data that may have been generated by a different policy. The ability to evaluate a policy from historical data is important for applications where the deployment of a bad policy can be dangerous or costly. We show empirically that our algorithm produces estimates that often have orders of magnitude lower mean squared error than existing methods---it makes more efficient use of the available data. Our new estimator is based on two advances: an extension of the doubly robust estimator (Jiang and Li, 2015), and a new way to mix between model based estimates and importance sampling based estimates.
研究动机与目标
- 为解决使用不同行为策略收集的历史数据准确评估强化学习策略的挑战。
- 在数据稀缺的情况下，降低离策略策略评估的均方误差。
- 开发一种强一致估计器，以最小化均方误差为目标，而非依赖渐近偏差减少。
- 通过原则化、自适应的方式结合重要性采样与基于模型的估计，提升数据效率。
提出的方法
- 提出双重稳健（DR）估计器的扩展形式，称为加权双重稳健（WDR），通过引入小而可控的偏差来降低方差。
- 提出IS与模型结合的混合估计器（BIM），通过学习得到的混合系数将重要性采样与基于模型的估计相结合，以最小化均方误差。
- 通过在BIM框架中结合WDR与基于模型的估计器（AM），开发MAGIC估计器，动态倾向于表现更优的组件。
- 在基于模型的组件中使用离策略j步回报，以提高估计精度并降低方差。
- 利用置信区间和数据驱动的混合参数估计（bn和Ωn），自适应平衡WDR与基于模型的估计。
- 建立WDR与MAGIC估计器强一致性的理论条件，确保在数据充足时收敛至真实值。
实验结果
研究问题
- RQ1结合重要性采样与基于模型的估计的混合估计器，是否能实现比现有离策略评估方法更低的均方误差？
- RQ2如何在不引入显著偏差的情况下降低双重稳健估计的方差，特别是在低数据场景下？
- RQ3在离策略评估中，最优的多估计器组合方式（如WDR与AM）是什么，以最小化均方误差？
- RQ4在基于模型的组件中使用离策略j步回报，是否相比全周期回报能显著提升估计精度？
- RQ5在多样化环境中，混合MAGIC估计器的性能与各独立组件（WDR、AM）及先前最先进方法相比如何？
主要发现
- 在所有测试环境中，MAGIC始终实现比现有方法（包括DR、WDR和AM）低数个数量级的均方误差。
- 在Hybrid领域中，即使在全数据条件下，MAGIC也比所有先前方法高出2至3个数量级，证明了其混合机制的有效性。
- 在低数据场景（如半数据设置）下，MAGIC显著优于WDR与AM，展现出卓越的数据效率。
- MAGIC的性能紧密跟踪表现更优的组件（WDR或AM），尽管在两者均随数据增加而快速提升时，偶尔会略微落后。
- MAGIC-B（仅使用同策略回报的变体）在Hybrid领域中比MAGIC低一个数量级，凸显了离策略j步回报的重要性。
- 该算法保持强一致性，并随着数据增加收敛至真实值，验证了理论保证。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。