[论文解读] Importance Sampling Policy Evaluation with an Estimated Behavior Policy

Josiah P. Hanna, Scott Niekum+1 more|arXiv (Cornell University)|Jun 4, 2018

Advanced Causal Inference Techniques参考文献 28被引用 8

一句话总结

本文提出回归重要性采样（RIS），一种从用于离策略评估的同一数据集中估计行为策略的方法，以降低重要性采样中的均方误差（MSE）。通过校正动作空间似然中的抽样误差，RIS 在大样本中以及在非马尔可夫行为策略估计下，即使真实行为策略为马尔可夫性，其 MSE 也低于普通重要性采样。

ABSTRACT

We consider the problem of off-policy evaluation in Markov decision processes. Off-policy evaluation is the task of evaluating the expected return of one policy with data generated by a different, behavior policy. Importance sampling is a technique for off-policy evaluation that re-weights off-policy returns to account for differences in the likelihood of the returns between the two policies. In this paper, we study importance sampling with an estimated behavior policy where the behavior policy estimate comes from the same set of data used to compute the importance sampling estimate. We find that this estimator often lowers the mean squared error of off-policy evaluation compared to importance sampling with the true behavior policy or using a behavior policy that is estimated from a separate data set. Intuitively, estimating the behavior policy in this way corrects for error due to sampling in the action-space. Our empirical results also extend to other popular variants of importance sampling and show that estimating a non-Markovian behavior policy can further lower large-sample mean squared error even when the true behavior policy is Markovian.

研究动机与目标

• 解决使用重要性采样进行离策略评估时的高方差与抽样误差问题。
• 探究从同一数据集估计行为策略是否能提高估计精度。
• 评估在真实策略为马尔可夫性时，估计非马尔可夫行为策略是否仍能降低渐近 MSE。
• 证明 RIS 相较于普通重要性采样具有一致性和更低的渐近方差。
• 探索将 RIS 与现有方差减少技术结合使用的实际优势。

提出的方法

• RIS 使用数据集 $\mathcal{D}$ 中每个状态的实证动作频率来估计行为策略 $\pi_{\mathcal{D}}$，在重要性采样中替代真实 $\pi_b$。
• 该方法将重要性权重计算为 $\frac{\pi_e(a|s)}{\pi_{\mathcal{D}}(a|s)}$，其中 $\pi_{\mathcal{D}}$ 由 $\mathcal{D}$ 中观测到的状态-动作频率估计得出。
• RIS 使用同一数据集 $\mathcal{D}$ 同时估计 $\pi_{\mathcal{D}}$ 和计算重要性采样估计值，以校正由抽样引起的偏差。
• 通过基于轨迹片段而非仅当前状态进行条件化，将该方法扩展至非马尔可夫行为策略。
• 通过与控制变量、归一化权重和截断等现有方差减少技术结合，进一步提升性能。
• 理论分析表明，当策略类包含真实行为策略时，RIS 是一致的，且渐近方差低于普通重要性采样。

实验结果

研究问题

• RQ1 从与重要性采样估计相同的数据库中估计行为策略，是否能降低离策略评估中的均方误差？
• RQ2 当真实行为策略为马尔可夫性时，估计非马尔可夫行为策略是否能进一步降低大样本 MSE？
• RQ3 在离散与连续动作空间中，RIS 与普通重要性采样在偏差、方差和 MSE 方面有何比较？
• RQ4 将 RIS 与标准方差减少技术结合使用的影响是什么？
• RQ5 在何种条件下，RIS 的渐近方差低于使用真实行为策略的情况？

主要发现

• 即使真实行为策略为马尔可夫性，RIS 仍持续降低均方误差，优于普通重要性采样（OIS）。
• 从同一数据集估计行为策略可校正动作空间似然中的抽样误差，从而降低 MSE。
• 即使真实策略为马尔可夫性，采用非马尔可夫行为策略估计的 RIS 仍能进一步降低大样本 MSE。
• 当估计的策略类包含真实行为策略时，RIS 是一致的，且渐近方差低于 OIS。
• 该方法在离散与连续动作空间环境中的实际应用中均表现有效。
• RIS 与现有方差减少技术具有互补性，结合使用可进一步降低 MSE。