[论文解读] A comparative study of counterfactual estimators

Thomas Nédelec, Nicolas Le Roux+1 more|arXiv (Cornell University)|Apr 3, 2017

Advanced Causal Inference Techniques参考文献 14被引用 4

一句话总结

本文对离策略反事实估计算法——基础重要性采样（BIS）、归一化重要性采样（NIS）、经验平均（EA）以及融合估计算法——进行了全面比较，表明NIS的表现会根据奖励方差在BIS与EA之间插值。主要贡献在于推导出一种最优无偏估计算法，其在低方差环境下优于融合重要性采样（FIS），并通过实证验证显示在CartPole与Blackjack环境中显著降低了均方误差（MSE）。

ABSTRACT

We provide a comparative study of several widely used off-policy estimators (Empirical Average, Basic Importance Sampling and Normalized Importance Sampling), detailing the different regimes where they are individually suboptimal. We then exhibit properties optimal estimators should possess. In the case where examples have been gathered using multiple policies, we show that fused estimators dominate basic ones but can still be improved.

研究动机与目标

• 识别广泛使用的离策略估计算法（BIS、NIS、EA）表现次优的场景。
• 基于偏差-方差权衡与均方误差（MSE）定义最优估计算法的理想特性。
• 将估计算法扩展至使用多种行为策略收集数据的场景，优于基础融合估计算法。
• 推导并验证一种新最优无偏估计算法，使其在低方差场景下优于融合重要性采样（FIS）。
• 提供基于奖励方差与数据收集策略选择估计算法的实用指导。

提出的方法

• 将BIS、NIS与EA重新表述为基于动作的加权平均，权重由重要性采样比率与经验计数导出。
• 分析不同奖励方差场景下各估计算法的偏差与方差，表明在高方差下BIS最优，在确定性奖励下EA最优。
• 提出融合重要性采样（FIS）以处理多策略数据，证明当使用多种策略时FIS优于BIS。
• 通过在无偏性约束下最小化MSE，利用策略特定的重要性权重推导出最优无偏估计算法（OUIS）。
• 在CartPole与Blackjack环境中使用逐决策估计算法进行性能验证，分别采用300次与1000次滚动回放。
• 采用自助法（400至2000次运行）计算置信区间，并比较均方根误差（RMSE）与MSE。

实验结果

研究问题

• RQ1 在何种场景下BIS、NIS与EA在离策略评估中表现次优？
• RQ2 NIS的表现如何与BIS和EA关联？是否可将其解释为两者的插值？
• RQ3 当使用多种策略收集数据时，融合重要性采样（FIS）是否优于基础重要性采样（BIS）？
• RQ4 能否推导出一种最优无偏估计算法，使其在低方差场景下优于FIS？
• RQ5 归一化变体（如NFIS、NOUIS）与无偏对应版本相比，其MSE表现如何？

主要发现

• 归一化重要性采样（NIS）在BIS与EA之间起到插值作用，其中BIS在高奖励方差下最优，EA在确定性奖励下最优。
• 当使用多种策略收集数据时，融合重要性采样（FIS）优于基础重要性采样（BIS），该结论已在论文中得到证明。
• 所提出的最优无偏估计算法（OUIS）在低方差场景下MSE低于FIS，在CartPole环境中RMSE为23.13（均值）对比FIS的25.38。
• 在Blackjack环境中，OUIS在探索率ε²ₜ下实现均值MSE为0.0860，优于FIS的0.0875，并接近理论下限。
• 最优估计算法的归一化版本（NOUIS）并未优于NFIS，表明更优的无偏权重并不保证更优的归一化估计算法。
• 在低方差场景下，最优无偏估计算法（OUIS）在CartPole实验中相较FIS将均值RMSE降低了10.5%，分别为7.91与25.38（均值RMSE）。