[论文解读] Efficient Policy Learning from Surrogate-Loss Classification Reductions

Andrew Bennett, Nathan Kallus|arXiv (Cornell University)|Feb 12, 2020

Statistical Methods and Inference参考文献 27被引用 7

一句话总结

本文提出ESPRM，一种基于广义矩法（GMM）的通用方法，通过将代理损失分类约化重构为可通过神经网络求解的平滑博弈优化问题，实现从观测数据中高效策略学习。与标准经验风险最小化（ERM）相比，ESPRM通过利用条件矩模型中的半参数效率，实现了更低的均方误差和遗憾，展示了在合成数据和真实世界就业培训实验中对ERM的一致性改进。

ABSTRACT

Recent work on policy learning from observational data has highlighted the importance of efficient policy evaluation and has proposed reductions to weighted (cost-sensitive) classification. But, efficient policy evaluation need not yield efficient estimation of policy parameters. We consider the estimation problem given by a weighted surrogate-loss classification reduction of policy learning with any score function, either direct, inverse-propensity weighted, or doubly robust. We show that, under a correct specification assumption, the weighted classification formulation need not be efficient for policy parameters. We draw a contrast to actual (possibly weighted) binary classification, where correct specification implies a parametric model, while for policy learning it only implies a semiparametric model. In light of this, we instead propose an estimation approach based on generalized method of moments, which is efficient for the policy parameters. We propose a particular method based on recent developments on solving moment problems using neural networks and demonstrate the efficiency and regret benefits of this method empirically.

研究动机与目标

• 解决尽管使用高效策略价值估计器，标准经验风险最小化（ERM）在策略学习中效率低下的问题。
• 阐明为何在策略学习中通过代理损失分类实现正确模型设定，无法像在标准分类中那样实现高效估计。
• 提出一种方法，通过将问题建模为条件矩问题，实现策略参数的半参数效率。
• 通过实证验证，所提方法可降低估计误差与遗憾，尤其在低数据场景下表现更优。

提出的方法

• 在正确设定下，将策略学习重构为条件矩问题，利用广义矩法（GMM）实现高效估计。
• 通过将GMM估计器转化为平滑博弈优化问题，提出基于神经网络的求解器。
• 利用对抗训练高效求解矩条件，借助深度学习在矩问题求解方面的最新进展。
• 将该方法应用于策略学习中的代理损失约化（如逻辑回归、合页损失），确保参数估计的效率。
• 采用交叉拟合与干扰项估计（如结果模型与倾向得分模型）以保持稳健性与效率。
• 通过合成数据与真实世界就业培训实验（个性化策略学习）验证方法有效性。

实验结果

研究问题

• RQ1 为何在策略学习中通过代理损失分类实现正确设定，无法确保高效估计，而标准二分类中可以？
• RQ2 当代理模型正确设定时，基于GMM的方法能否在策略参数估计中实现半参数效率？
• RQ3 与标准ERM相比，所提方法是否能降低估计误差（MSE）与遗憾？
• RQ4 在模型设定错误与低数据场景下，该方法表现如何？

主要发现

• 在正确模型设定下，ESPRM显著降低了最优策略参数估计的均方误差，优于ERM。
• 在Jobs案例研究中，ESPRM实现平均策略价值4.42±3.78（线性）与7.68±3.16（灵活），优于ERM的-0.96±4.32与-1.75±4.64。
• 配对t检验显示结果具有统计显著性：线性策略p = 0.0429，灵活策略p = 0.0007。
• 该方法持续降低遗憾，尤其在低数据场景下，展现出更强的稳健性与效率优势。
• 本文证明，在正确设定下，代理损失的遗憾上界为真实策略遗憾，验证了方法的理论基础。
• 理论分析表明，策略学习中的正确设定会形成半参数模型，需依赖GMM估计以实现效率，而标准分类中为参数模型。