[论文解读] A Practically Competitive and Provably Consistent Algorithm for Uplift Modeling

Yan Zhao, Fang Xiao+1 more|arXiv (Cornell University)|Sep 12, 2017

Advanced Causal Inference Techniques参考文献 13被引用 5

一句话总结

本文提出 UCTS，一种基于树的集成算法用于提升建模（uplift modeling），在温和的正则性条件下既具备实际竞争力又具有可证明的一致性。通过使用随机子采样策略和基于治疗特异性响应差异的新型分裂准则，UCTS 确保了渐近一致性，同时在合成数据和真实世界数据上实现了强劲的实验性能。

ABSTRACT

Randomized experiments have been critical tools of decision making for decades. However, subjects can show significant heterogeneity in response to treatments in many important applications. Therefore it is not enough to simply know which treatment is optimal for the entire population. What we need is a model that correctly customize treatment assignment base on subject characteristics. The problem of constructing such models from randomized experiments data is known as Uplift Modeling in the literature. Many algorithms have been proposed for uplift modeling and some have generated promising results on various data sets. Yet little is known about the theoretical properties of these algorithms. In this paper, we propose a new tree-based ensemble algorithm for uplift modeling. Experiments show that our algorithm can achieve competitive results on both synthetic and industry-provided data. In addition, by properly tuning the "node size" parameter, our algorithm is proved to be consistent under mild regularity conditions. This is the first consistent algorithm for uplift modeling that we are aware of.

研究动机与目标

• 为解决提升建模中缺乏理论基础的算法问题，现有方法往往缺乏一致性保证。
• 开发一种实用但理论严谨的算法，能够根据个体特征准确识别最优治疗方案。
• 在温和正则性条件下建立所提算法的一致性，确保随着样本量增加，收敛至真实最优治疗策略。
• 通过在树构建过程中整合治疗间响应比较，而非独立处理每种治疗，改进分离模型方法（SMA）。
• 为启发式提升算法提供理论依据的替代方案，尤其适用于多治疗场景。

提出的方法

• 该算法使用随机子采样策略生成多个决策树，每棵树在数据和特征的随机子集上进行训练。
• 在每个节点，算法选择能最大化治疗间期望响应差异的分裂方式，使用基于经验治疗特异性均值的准则。
• 分裂规则旨在识别治疗效应异质性最强的子群体，从而实现针对性治疗分配。
• 最终预测为多棵树的集成平均，降低方差并提高鲁棒性。
• 通过使用集中不等式和叶节点直径收缩，对估计误差和近似误差进行有界，证明一致性。
• 理论分析表明，通过适当调节节点大小参数，算法在样本量增加时收敛至真实最优治疗策略。

实验结果

研究问题

• RQ1 基于树的集成方法在提升建模中能否同时实现强劲的实验性能和理论一致性？
• RQ2 能否设计一种分裂准则，有效捕捉多治疗场景下的治疗效应异质性？
• RQ3 在何种数据和算法参数条件下，可确保估计的治疗策略收敛至真实最优策略？
• RQ4 与分离模型方法（SMA）相比，所提算法在准确性和理论保证方面表现如何？
• RQ5 在不依赖强参数假设的前提下，能否在温和正则性条件下证明该算法的一致性？

主要发现

• 所提出的 UCTS 算法在合成数据和工业提供的数据集上均表现出具有竞争力的性能，在治疗分配准确性方面优于现有方法。
• 该算法具有可证明的一致性：随着样本量增加，估计的最优治疗以概率收敛至真实最优治疗，且在温和正则性条件下成立。
• 理论分析表明，只要适当调节节点大小参数，估计误差和近似误差均随样本量增长而趋近于零。
• 近似误差随叶节点直径缩小而减小，估计误差在受控采样条件下通过集中不等式得到有界。
• 通过多棵随机树的集成平均进一步提升了稳定性并降低了方差，增强了泛化性能。
• 这是首个具有可证明一致性保证的提升建模算法，填补了该领域理论理解的关键空白。