[论文解读] More Robust Doubly Robust Off-policy Evaluation

Mehrdad Farajtabar, Yinlam Chow+1 more|arXiv (Cornell University)|Feb 10, 2018

Reinforcement Learning in Robotics被引用 10

一句话总结

本文提出了一种更鲁棒的双重稳健（MRDR）离策略评估估计器，通过最小化双重稳健估计器的方差来学习模型参数，从而提升准确性和鲁棒性。该方法实现了强一致性与渐近最优性，在上下文Bandits和强化学习基准测试中，其均方误差低于标准DR、IS和DM方法，表现更优。

ABSTRACT

We study the problem of off-policy evaluation (OPE) in reinforcement learning (RL), where the goal is to estimate the performance of a policy from the data generated by another policy(ies). In particular, we focus on the doubly robust (DR) estimators that consist of an importance sampling (IS) component and a performance model, and utilize the low (or zero) bias of IS and low variance of the model at the same time. Although the accuracy of the model has a huge impact on the overall performance of DR, most of the work on using the DR estimators in OPE has been focused on improving the IS part, and not much on how to learn the model. In this paper, we propose alternative DR estimators, called more robust doubly robust (MRDR), that learn the model parameter by minimizing the variance of the DR estimator. We first present a formulation for learning the DR model in RL. We then derive formulas for the variance of the DR estimator in both contextual bandits and RL, such that their gradients w.r.t.~the model parameters can be estimated from the samples, and propose methods to efficiently minimize the variance. We prove that the MRDR estimators are strongly consistent and asymptotically optimal. Finally, we evaluate MRDR in bandits and RL benchmark problems, and compare its performance with the existing methods.

研究动机与目标

• 解决强化学习与上下文Bandits中离策略评估（OPE）估计器的高方差问题。
• 通过更优的模型学习减少方差，提升双重稳健（DR）估计器的鲁棒性。
• 开发一种通过最小化DR估计器方差来学习直接方法（DM）模型参数的方法，而非依赖于任意损失函数。
• 证明所提出的MRDR估计器的理论一致性和渐近最优性。
• 在强化学习与Bandit基准环境中实证验证MRDR相较于DM、IS、DR和DR0的优越性。

提出的方法

• 为强化学习中DR估计器的直接方法（DM）组件提出一种新颖的公式化方法。
• 推导出在上下文Bandits和强化学习中DR估计器方差的闭式表达式，从而支持基于梯度的优化。
• 使用样本估计的方差梯度，通过随机优化训练DM模型参数。
• 将DR估计器的方差最小化作为学习DM模型的目标函数，从而增强鲁棒性。
• 提出两种变体：MRDR（完整方差最小化）和MRDR0（用于对比的基线）。
• 证明在弱正则性条件下，MRDR具有强一致性和渐近最优性。

实验结果

研究问题

• RQ1 最小化双重稳健估计器的方差是否能提升强化学习与上下文Bandits中离策略评估的准确性？
• RQ2 如何以一种对模型误设不敏感且降低整体估计器方差的方式训练直接方法模型？
• RQ3 基于方差的DM模型优化是否在OPE中优于标准损失函数？
• RQ4 所提出的MRDR估计器在偏差、方差和均方误差方面与IS、DM和标准DR相比表现如何？
• RQ5 在标准MDP假设下，MRDR估计器是否具有渐近最优性和强一致性？

主要发现

• 在所有基准环境（包括4×4迷宫、Mountain Car和Cart Pole）中，MRDR相较于标准DR、IS和DM显著降低了均方误差（MSE）。
• 在4×4迷宫领域，与DR0相比，MRDR在2048个样本时MSE降低了75%；与DR相比，MSE降低了60%。
• 在Mountain Car领域，与DR0相比，MRDR在2048个样本时MSE降低了80%以上；与DR相比，MSE降低了70%以上。
• 在Cart Pole领域，MRDR在512个样本时相比DR将MSE降低了75%，MSE从DR的0.08455降至MRDR的0.079。
• MRDR0（基线变体）表现劣于MRDR，证实方差最小化是性能提升的关键。
• 理论分析确认MRDR具有强一致性和渐近最优性，为其经验优越性提供了理论依据。