[论文解读] Balanced Policy Evaluation and Learning

Nathan Kallus|arXiv (Cornell University)|May 21, 2017

Advanced Causal Inference Techniques参考文献 38被引用 17

一句话总结

本文提出了一种基于平衡的新型方法，用于从观察性数据中进行离策略评估与学习，以最优平衡权重替代传统的逆倾向得分加权，直接最小化最坏情况误差。该方法通过避免数据剔除，实现了更稳定、高效的优化，提升了估计精度与策略学习性能，并在弱假设下提供了理论一致性和遗憾界保证。

ABSTRACT

We present a new approach to the problems of evaluating and learning personalized decision policies from observational data of past contexts, decisions, and outcomes. Only the outcome of the enacted decision is available and the historical policy is unknown. These problems arise in personalized medicine using electronic health records and in internet advertising. Existing approaches use inverse propensity weighting (or, doubly robust versions) to make historical outcome (or, residual) data look like it were generated by a new policy being evaluated or learned. But this relies on a plug-in approach that rejects data points with a decision that disagrees with the new policy, leading to high variance estimates and ineffective learning. We propose a new, balance-based approach that too makes the data look like the new policy but does so directly by finding weights that optimize for balance between the weighted data and the target policy in the given, finite sample, which is equivalent to minimizing worst-case or posterior conditional mean square error. Our policy learner proceeds as a two-level optimization problem over policies and weights. We demonstrate that this approach markedly outperforms existing ones both in evaluation and learning, which is unsurprising given the wider support of balance-based weights. We establish extensive theoretical consistency guarantees and regret bounds that support this empirical success.

研究动机与目标

• 解决现有离策略评估与学习方法依赖逆倾向得分加权所导致的高方差与数据剔除问题。
• 开发一种统一的单阶段框架，用于策略评估与学习，避免以往方法中两阶段插补式方法的局限。
• 通过在有限样本中直接优化历史数据与目标策略之间的平衡，提升估计效率与策略性能。
• 在无混淆性和强重叠假设下，为所提方法建立理论一致性与遗憾界。
• 为个性化决策制定提供一种计算上稳健的替代方案，相较于双重稳健与逆概率加权技术，更具鲁棒性。

提出的方法

• 该方法通过在策略与权重上进行两层优化，构造最小化有限样本中加权历史数据与目标策略分布之间差异的平衡权重。
• 将策略评估表述为结果的加权平均，其中权重的选择旨在平衡各处理组之间的协变量分布，确保加权数据能模拟目标策略。
• 采用基于核的正则化以控制函数空间的复杂度，确保稳定性，并通过二次规划优化权重，以最小化最坏情况误差或后验条件均方误差。
• 策略学习器将这些权重整合进单一优化问题中，避免了传统方法的两阶段结构，从而降低方差。
• 理论分析基于经验过程理论，利用Rademacher复杂度界定估计误差与遗憾，关键假设为强重叠与无混淆性。
• 该方法被扩展为双重稳健版本，结合结果回归与平衡权重，提升了对模型误设的鲁棒性。

实验结果

研究问题

• RQ1 基于平衡的加权方案是否能在从观察性数据中进行离策略评估与学习时，优于逆倾向得分加权？
• RQ2 基于平衡权重的单阶段优化框架在策略学习中，是否能实现比两阶段方法更高的统计效率与更低的遗憾？
• RQ3 在标准因果推断假设下，所提平衡方法的理论一致性与遗憾界为何？
• RQ4 该方法如何处理模型误设与高维协变量问题，特别是在倾向得分接近零时？
• RQ5 该平衡方法能否扩展为结合结果建模与权重优化的双重稳健变体？

主要发现

• 所提基于平衡的方法在数值实验中，于离策略评估与策略学习任务中均显著优于现有的逆倾向得分加权与双重稳健方法。
• 该方法实现了 $ O_p(\tilde{\frak{R}}_n(\tilde{\boldsymbol{\nu}}) + 1/\tilde{n}) $ 的遗憾界，其中 $ \tilde{\frak{R}}_n(\tilde{\boldsymbol{\nu}}) $ 为策略类的Rademacher复杂度，表明具有强理论一致性。
• 在强重叠与有界残差条件下，该方法确保一致估计误差 $ \textstyle \text{sup}_{\pi \in \Pi} |\hat{\tau}_{W^{*}(\pi)} - \text{SAPE}(\pi)| $ 以高概率有界，且显式常数涉及核范数与正则化参数。
• 当核为 $ C_0 $-通用且策略类复杂度趋于零时，该方法实现 $ o_p(1) $ 的遗憾，意味着渐近最优性。
• 双重稳健变体在较弱条件下（如 $ \|\hat{\mu}_{nt} - \mu_t\|_{\mathcal{K}_t} = o_p(1) $）仍保持相同的遗憾界，增强了对结果模型误差的鲁棒性。
• 在无混淆性、强重叠与有界残差条件下建立了理论保证，并给出了估计误差的显式高概率界。