[论文解读] Efficient Policy Learning

Susan Athey, Stefan Wager|arXiv (Cornell University)|Jan 1, 2017

Advanced Causal Inference Techniques被引用 3

一句话总结

本文提出了一类基于半鞅效率理论的准最优策略评估方法，使得学习到的策略其遗憾边界与半鞅效率方差成比例。通过优化这些高效估计量，该方法确保了策略学习中的统计效率提升与风险一致性。

ABSTRACT

There has been considerable interest across several fields in methods that reduce the problem of learning good treatment assignment policies to the problem of accurate policy evaluation. Given a class of candidate policies, these methods first effectively evaluate each policy individually, and then learn a policy by optimizing the estimated value function; such approaches are guaranteed to be risk-consistent whenever the policy value estimates are uniformly consistent. However, despite the wealth of proposed methods, the literature remains largely silent on questions of statistical efficiency: there are only limited results characterizing which policy evaluation strategies lead to better learned policies than others, or what the optimal policy evaluation strategies are. In this paper, we build on classical results in semiparametric efficiency theory to develop quasi-optimal methods for policy learning; in particular, we propose a class of policy value estimators that, when optimized, yield regret bounds for the learned policy that scale with the semiparametric efficient variance for policy evaluation. On a practical level, our result suggests new methods for policy learning motivated by semiparametric efficiency theory.

研究动机与目标

• 解决现有策略学习方法中缺乏统计效率分析的问题。
• 识别能够最小化学习策略遗憾的最优策略评估策略。
• 弥合策略评估准确性与最终策略性能之间的差距。
• 推导出一类在策略价值估计中实现半鞅效率的估计量。

提出的方法

• 基于半鞅效率理论，构建一类策略价值估计量。
• 优化这些估计量以最小化策略价值估计的方差。
• 利用影响函数和高效估计方程，构造具有最小渐近方差的估计量。
• 应用价值估计的统一一致性，以确保策略学习中的风险一致性。
• 推导出学习策略的遗憾边界，其规模与半鞅效率方差成比例。
• 将高效估计整合到两阶段策略学习框架中：先评估，后优化。

实验结果

研究问题

• RQ1 哪些策略评估策略能产生最高效的策略学习结果？
• RQ2 在最小化策略遗憾的意义上，策略价值估计的最优方差结构是什么？
• RQ3 如何利用半鞅效率理论来改进策略学习？
• RQ4 在高效评估下，学习策略的最小可实现遗憾是多少？
• RQ5 在实现半鞅效率的同时，能否保持风险一致性？

主要发现

• 所提出的策略价值估计量达到了策略评估的半鞅效率边界。
• 学习策略的遗憾边界与半鞅效率方差成比例，表明实现了最优统计效率。
• 在价值估计统一一致性的前提下，该方法确保了风险一致性。
• 该框架通过优先考虑高效估计，为策略学习提供了系统化的方法。
• 研究结果为设计更高效的策略学习算法提供了理论基础。
• 该方法为构建最小化估计方差并提升策略性能的估计量提供了实际指导。