[论文解读] Data-Efficient Policy Evaluation Through Behavior Policy Search

Josiah P. Hanna, Philip S. Thomas+2 more|arXiv (Cornell University)|Jun 12, 2017

Reinforcement Learning in Robotics参考文献 17被引用 8

一句话总结

本文提出行为策略梯度（BPG），一种通过优化行为策略以最小化重要性采样估计器方差来提升数据效率策略评估的方法。通过在离策略估计的方差上使用梯度下降，BPG在无需访问环境动态信息的情况下，实现了比同策略评估更低的均方误差。

ABSTRACT

We consider the task of evaluating a policy for a Markov decision process (MDP). The standard unbiased technique for evaluating a policy is to deploy the policy and observe its performance. We show that the data collected from deploying a different policy, commonly called the behavior policy, can be used to produce unbiased estimates with lower mean squared error than this standard technique. We derive an analytic expression for the optimal behavior policy --- the behavior policy that minimizes the mean squared error of the resulting estimates. Because this expression depends on terms that are unknown in practice, we propose a novel policy evaluation sub-problem, behavior policy search: searching for a behavior policy that reduces mean squared error. We present a behavior policy search algorithm and empirically demonstrate its effectiveness in lowering the mean squared error of policy performance estimates.

研究动机与目标

• 解决使用同策略蒙特卡罗方法进行策略评估时方差过高的问题。
• 降低离策略评估中策略性能估计的均方误差（MSE）。
• 开发一种通过优化行为策略以提升策略评估数据效率的方法。
• 在不依赖环境转移概率知识的前提下，实现策略评估中方差的降低。

提出的方法

• 将行为策略的选择形式化为一个新的优化问题：行为策略搜索。
• 推导出最小化重要性采样估计器方差的最优行为策略的解析表达式。
• 提出行为策略梯度（BPG），一种随机梯度下降方法，通过调整行为策略参数以最小化离策略估计器的方差。
• 使用重要性采样，从行为策略收集的数据中生成评估策略性能的无偏估计。
• 采用控制变量子技术，在与BPG结合时进一步降低方差。
• 基于重要性采样估计器的方差估计，对行为策略参数进行梯度更新。

实验结果

研究问题

• RQ1 与同策略方法相比，优化行为策略是否能降低策略评估的均方误差？
• RQ2 在不依赖环境转移概率知识的前提下，行为策略搜索是否能降低离策略策略评估中的方差？
• RQ3 BPG能否与基于模型的控制变量有效结合，进一步降低估计误差？
• RQ4 在何种条件下，行为策略适应相比同策略评估能带来显著改进？

主要发现

• BPG相比同策略蒙特卡罗估计，降低了策略性能估计的均方误差。
• 即使评估策略本身方差较低，该方法仍能实现比同策略评估更低的方差。
• BPG在稀有但高影响事件导致方差的环境中，能有效降低估计误差。
• 当与基于模型的控制变量结合时，BPG进一步降低了策略评估的均方误差。
• BPG在数据效率方面从不劣于同策略评估，且理论上保证不会增加方差。
• 实验结果表明，BPG在多个环境中均优于同策略方法，在估计精度方面表现更优。