[论文解读] Confounding-Robust Policy Improvement

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|May 22, 2018

Advanced Causal Inference Techniques参考文献 61被引用 33

一句话总结

本文提出了一种对抗混淆的策略改进方法，通过在潜在结果的比值比边界约束下，最小化不确定性集内倾向得分权重的最坏情况遗憾，以应对观察数据中的未观测混淆。通过在有界混淆下优化最坏情况遗憾，该方法确保了策略的安全性，并保证了对总体遗憾的最佳可能统一控制，在合成数据和真实世界激素替代疗法案例研究中优于基于无混淆性的标准方法。

ABSTRACT

We study the problem of learning personalized decision policies from observational data while accounting for possible unobserved confounding. Previous approaches, which assume unconfoundedness, i.e., that no unobserved confounders affect both the treatment assignment as well as outcome, can lead to policies that introduce harm rather than benefit when some unobserved confounding is present, as is generally the case with observational data. Instead, since policy value and regret may not be point-identifiable, we study a method that minimizes the worst-case estimated regret of a candidate policy against a baseline policy over an uncertainty set for propensity weights that controls the extent of unobserved confounding. We prove generalization guarantees that ensure our policy will be safe when applied in practice and will in fact obtain the best-possible uniform control on the range of all possible population regrets that agree with the possible extent of confounding. We develop efficient algorithmic solutions to compute this confounding-robust policy. Finally, we assess and compare our methods on synthetic and semi-synthetic data. In particular, we consider a case study on personalizing hormone replacement therapy based on observational data, where we validate our results on a randomized experiment. We demonstrate that hidden confounding can hinder existing policy learning approaches and lead to unwarranted harm, while our robust approach guarantees safety and focuses on well-evidenced improvement, a necessity for making personalized treatment policies learned from observational data reliable in practice.

研究动机与目标

• 为解决现有策略学习方法假设无混淆性的关键局限性，该假设在实践中不可验证且常被违反。
• 开发一种方法，确保在存在未观测混淆变量的观察数据上应用策略时的安全性与可靠性。
• 在有界混淆下提供对遗憾控制的理论保证，即使反事实结果未被点识别。
• 在合成数据和基于观察数据与随机对照试验数据的真实世界激素替代疗法案例研究中验证该方法。
• 证明标准策略学习在隐藏混淆下可能导致伤害，而所提出的鲁棒方法可避免此类风险。

提出的方法

• 该方法基于潜在结果比值比的边界，构建一个控制未观测混淆程度的倾向得分不确定性集。
• 它将一个鲁棒优化问题形式化，以最小化在该不确定性集上，候选策略相对于基线策略的最坏情况估计遗憾。
• 该方法使用一种递归划分算法，同时优化策略分配与协变量空间的划分，以改进遗憾最小化。
• 该算法基于策略分配目标的变化，贪婪地选择分割点，同时考虑治疗分配与划分决策。
• 它通过参数λ对不同混淆水平下的遗憾目标进行加权，以平衡鲁棒性与性能。
• 该方法提供了泛化保证，确保策略将实现与假设混淆水平一致的所有可能总体遗憾范围内的最佳统一控制。

实验结果

研究问题

• RQ1 能否在不假设可忽略性的情况下，使从观察数据中进行的策略学习对未观测混淆具有鲁棒性？
• RQ2 当由于混淆导致反事实结果未被点识别时，所能实现的最坏情况遗憾的最佳统一控制是什么？
• RQ3 在隐藏混淆下，所提出的鲁棒策略与基于无混淆性的标准方法相比，在安全性与性能方面表现如何？
• RQ4 该方法能否可靠地识别出有充分证据支持的个性化治疗改进，而不会引入伤害？
• RQ5 在已知存在混淆的真实世界案例研究（如激素替代疗法）中，该方法表现如何？

主要发现

• 所提出的方法通过在倾向得分不确定性集上最小化最坏情况遗憾，确保了安全性，即使在存在未观测混淆时，策略也不会造成伤害。
• 在WHI案例研究中，标准策略学习方法在隐藏混淆下表现出负遗憾（即造成伤害），而鲁棒方法在所有测试的混淆水平下均保持正或接近零的遗憾。
• 该方法在log(Γ) = 0.05时达到-0.50的策略遗憾，并在log(Γ) = 1.0时改善至0.08，表明在混淆边界增加时仍保持一致的改进。
• 该算法成功识别出与随机对照试验结果一致的治疗规则，验证了其在实践中的可靠性。
• 敏感性分析表明，即使关键协变量被剔除，该方法仍保持鲁棒性，大多数比值比集中在[0.8, 1.2]区间，表明混淆程度较弱。
• 递归划分算法高效计算出具有强经验性能的策略，展示了其可扩展性与实际应用价值。