[论文解读] Learning Optimal Prescriptive Trees from Observational Data

Nathanael Jo, Sina Aghaei+2 more|arXiv (Cornell University)|Aug 31, 2021

Advanced Causal Inference Techniques参考文献 39被引用 4

一句话总结

该论文提出了一种基于混合整数优化（MIO）的方法，从观察性数据中学习最优且可解释的决策树，无需随机化或强假设。该方法在样本外性能上实现了渐近精确性，并独特地支持预算和公平性等领域约束，在有限样本中性能优于最先进方法达三倍。

ABSTRACT

We consider the problem of learning an optimal prescriptive tree (i.e., an interpretable treatment assignment policy in the form of a binary tree) of moderate depth, from observational data. This problem arises in numerous socially important domains such as public health and personalized medicine, where interpretable and data-driven interventions are sought based on data gathered in deployment -- through passive collection of data -- rather than from randomized trials. We propose a method for learning optimal prescriptive trees using mixed-integer optimization (MIO) technology. We show that under mild conditions our method is asymptotically exact in the sense that it converges to an optimal out-of-sample treatment assignment policy as the number of historical data samples tends to infinity. Contrary to existing literature, our approach: 1) does not require data to be randomized, 2) does not impose stringent assumptions on the learned trees, and 3) has the ability to model domain specific constraints. Through extensive computational experiments, we demonstrate that our asymptotic guarantees translate to significant performance improvements in finite samples, as well as showcase our uniquely flexible modeling power by incorporating budget and fairness constraints.

研究动机与目标

• 开发一种从观察性数据中学习可解释、最优治疗分配策略的方法，其中随机对照试验在伦理上不可行或不切实际。
• 解决现有决策树方法的局限性，这些方法需要随机化数据、施加深层树结构，或缺乏对特定领域约束的支持。
• 在温和正则性条件下，确保所学策略在样本外性能上渐近最优。
• 通过整合公平性和预算约束，使方法在医疗保健和社会服务等高风险领域中具备实际部署可行性。

提出的方法

• 将决策树学习问题建模为混合整数优化（MIO）问题，以联合选择树结构和治疗分配。
• 使用双重稳健估计器从观察性数据中估计潜在结果，当结果模型或倾向得分模型任一被错误设定时，仍能提高鲁棒性。
• 采用基于双重稳健估计器的数据驱动目标函数，以最大化期望结果，同时确保渐近一致性。
• 将约束条件整合到MIO框架中，以建模特定领域的实际需求，如预算限制（例如，仅20%的人口可接受治疗）和公平性（例如，不同人口群体之间的结果差异 ≤ δ）。
• 采用分解方法通过迭代求解子问题来处理大规模数据集，提升计算可行性。
• 使用样本近似方法对期望结果进行近似，以实现在有限历史数据上的优化，同时保持理论保证。

实验结果

研究问题

• RQ1 能否在不依赖随机治疗分配的前提下，从观察性数据中学习到决策树，同时在样本外性能上实现渐近最优？
• RQ2 在不同数据生成机制下，所提出的基于MIO的方法与现有最先进方法相比，在样本外性能方面表现如何？
• RQ3 该方法在现实政策环境中，能在多大程度上整合实际约束，如预算限制和公平性要求？
• RQ4 当结果模型或倾向得分模型被错误设定时，使用双重稳健估计器是否能提升性能的稳定性？
• RQ5 理论上的渐近保证在有限样本中的表现如何体现？

主要发现

• 所提出的方法在样本外治疗分配准确率方面，相较于最先进方法最高可实现三倍性能提升，尤其在非随机化环境中表现显著。
• 该方法在多种实验设计下均保持高性能，包括条件随机化和非随机化数据，在其中双重稳健估计器在任一模型（结果或倾向）被错误设定时仍表现出鲁棒性。
• 在施加公平性约束时，将差异阈值δ降低至0.01，可使随机化环境下的中位结果差异为-0.02，而在条件随机化环境下（r=0.11）实现完全平等。
• 该方法成功实施了预算约束，可控制接受治疗的人口比例，且性能未出现下降。
• DM估计器产生的结果估计值最接近真实期望结果，但实践中DR估计器因极端倾向权重导致的偏差更小，表现出更好的鲁棒性。
• 实证结果证实，渐近理论保证在实际有限样本中也转化为显著的性能提升，尤其在现实观察性数据条件下表现突出。