[论文解读] Characterization of Overlap in Observational Studies

Michael Oberst, Fredrik Johansson+5 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Causal Inference Techniques参考文献 39被引用 7

一句话总结

本文提出一种方法，通过将重叠估计建模为覆盖约束下的最小体积集问题，将观测研究中的处理组重叠特征化，将其简化为二值分类问题，并采用可解释的布尔规则分类器。该方法在保持与黑箱模型相当的准确性的同时，为因果推断和现实世界医疗应用中的策略评估提供了直观且具有政策相关性的解释。

ABSTRACT

Overlap between treatment groups is required for non-parametric estimation of causal effects. If a subgroup of subjects always receives the same intervention, we cannot estimate the effect of intervention changes on that subgroup without further assumptions. When overlap does not hold globally, characterizing local regions of overlap can inform the relevance of causal conclusions for new subjects, and can help guide additional data collection. To have impact, these descriptions must be interpretable for downstream users who are not machine learning experts, such as policy makers. We formalize overlap estimation as a problem of finding minimum volume sets subject to coverage constraints and reduce this problem to binary classification with Boolean rule classifiers. We then generalize this method to estimate overlap in off-policy policy evaluation. In several real-world applications, we demonstrate that these rules have comparable accuracy to black-box estimators and provide intuitive and informative explanations that can inform policy making.

研究动机与目标

• 解决在处理组重叠有限或局部时，观测研究中重叠区域缺乏可解释、具有政策相关性的描述的问题。
• 将重叠特征化形式化为在覆盖约束下的最小体积集问题，确保统计有效性与可解释性。
• 开发一种两阶段方法，首先估计支持集，然后估计倾向得分的有界性，将两者结合形成重叠区域的可解释规则。
• 将该方法推广至医疗环境中的离策略评估，例如抗生素或阿片类药物处方指南。
• 通过与医疗专业人员的用户研究，评估方法的可解释性与实际应用价值。

提出的方法

• 该方法将重叠估计简化为两个二值分类问题：识别处理组的联合支持集，以及估计倾向得分远离0和1的区域。
• 利用线性规划松弛方法，学习在保持可解释性的同时最小化经验损失的最优布尔规则。
• 最终的重叠区域被定义为支持分类器与倾向得分有界性分类器的交集，形成在覆盖约束下的最小体积集。
• 基于VC理论推导出泛化边界，表明基于规则的重叠估计器的近似误差受基础估计器误差与假设类复杂度的控制。
• 通过将重叠定义为目标策略被遵循的概率非零的区域，将该方法扩展至离策略评估，从而实现有效策略价值估计。
• 超参数基于与基础估计器的实证误差进行选择，确保准确性与可解释性之间的权衡。

实验结果

研究问题

• RQ1 我们能否在简单倾向得分阈值之外，为观测研究中处理组重叠的区域提供可解释且自包含的描述？
• RQ2 如何以支持外部有效性与策略泛化的方式表征局部重叠区域？
• RQ3 布尔规则模型能否在保持优于黑箱估计器的可解释性的同时，实现与黑箱估计器相当的准确性？
• RQ4 该方法在临床指南评估中如何推广至离策略评估？
• RQ5 医疗专业人员在现实决策场景中，对基于规则的重叠描述在实用性与可理解性方面有多高的认可度？

主要发现

• 所提出的方法生成了可解释的布尔规则，其对重叠区域的描述在真实观测研究中与黑箱估计器的准确性相当。
• 与医疗专业人员的用户研究显示，基于规则的重叠描述在临床政策决策中被认为比黑箱输出更具信息量和可操作性。
• 即使在全局重叠不存在的情况下，该方法仍能成功识别局部重叠区域，从而在明确定义的子人群中实现有效的因果推断。
• 建立了泛化边界，表明基于规则的重叠估计器的误差受基础分类器误差与假设类VC维的控制。
• 该方法在离策略评估中具有良好的泛化能力，通过描述指南适用的人群子集，实现了对临床指南的有效评估。
• 两阶段设计——先估计支持集，再估计有界性——实现了准确性与可解释性之间的合理权衡，且实证误差可观测且可控。