[论文解读] Causal Rule Sets for Identifying Subgroups with Enhanced Treatment Effect

Tong Wang, Cynthia Rudin|arXiv (Cornell University)|Oct 16, 2017

Advanced Causal Inference Techniques参考文献 53被引用 7

一句话总结

本文提出了因果规则集（Causal Rule Sets, CRS），一种贝叶斯非贪婪机器学习框架，通过少量简短的决策规则发现具有增强治疗效果的可解释子群。通过优化兼顾模型拟合度与复杂度的全局目标，CRS在多种真实世界数据集中优于贪婪树基方法和最先进的基于规则的模型，实现了更优的治疗效率前沿。

ABSTRACT

A key question in causal inference analyses is how to find subgroups with elevated treatment effects. This paper takes a machine learning approach and introduces a generative model, Causal Rule Sets (CRS), for interpretable subgroup discovery. A CRS model uses a small set of short decision rules to capture a subgroup where the average treatment effect is elevated. We present a Bayesian framework for learning a causal rule set. The Bayesian model consists of a prior that favors simple models for better interpretability as well as avoiding overfitting, and a Bayesian logistic regression that captures the likelihood of data, characterizing the relation between outcomes, attributes, and subgroup membership. The Bayesian model has tunable parameters that can characterize subgroups with various sizes, providing users with more flexible choices of models from the \emph{treatment efficient frontier}. We find maximum a posteriori models using iterative discrete Monte Carlo steps in the joint solution space of rules sets and parameters. To improve search efficiency, we provide theoretically grounded heuristics and bounding strategies to prune and confine the search space. Experiments show that the search algorithm can efficiently recover true underlying subgroups. We apply CRS on public and real-world datasets from domains where interpretability is indispensable. We compare CRS with state-of-the-art rule-based subgroup discovery models. Results show that CRS achieved consistently competitive performance on datasets from various domains, represented by high treatment efficient frontiers.

研究动机与目标

• 识别在观察数据中治疗效果显著高于总体人群的子群。
• 开发一种方法，无需预先设定关于特征交互作用的假设，即可发现此类子群。
• 通过使用少量简洁的决策规则，提升可解释性并避免过拟合。
• 克服贪婪递归划分方法无法优化全局治疗效果目标的局限性。
• 提供一种灵活且有原则的子群发现框架，平衡模型简洁性与预测性能。

提出的方法

• CRS采用贝叶斯生成模型，结合偏好简单稀疏规则集的先验，以及用于建模结果可能性的贝叶斯逻辑回归。
• 该模型在规则集与参数上使用联合后验分布，通过迭代离散马尔可夫链蒙特卡洛步骤进行最大后验估计（MAP）。
• 利用理论基础坚实的启发式方法与边界策略对搜索空间进行剪枝，以提高计算效率。
• 规则以析取范式（DNF）组合，能够比单规则模型更准确地捕捉非矩形、不规则的子群形状。
• 该框架支持可调参数以控制子群大小与复杂度，实现对治疗效率前沿的探索。
• 贝叶斯逻辑回归组件用于建模潜在结果，捕捉协变量、治疗与子群归属之间的关系。

实验结果

研究问题

• RQ1 非贪婪且全局优化的规则集模型是否能在识别具有增强治疗效果的子群方面优于贪婪树基方法？
• RQ2 具有稀疏性诱导先验的贝叶斯框架在多大程度上能提升子群发现中的可解释性并减少过拟合？
• RQ3 与单规则或树基模型相比，规则集模型在捕捉复杂非矩形子群形状方面表现如何？
• RQ4 与最先进的基于规则和树基基线相比，所提方法是否在治疗效率前沿上表现更优？
• RQ5 该方法是否能有效应用于个性化医疗和精准广告等高风险现实领域，其中可解释性至关重要？

主要发现

• CRS在多样化数据集上表现出一致的竞争力，治疗效率前沿较高，表明治疗效果与子群规模之间具有良好的权衡。
• 在医疗众筹数据集上，CRS识别出平均治疗效果（ATE）为6%的子群，优于基线方法如VTR（ATE = 0.02）和SIDES（ATE = 0.03）。
• CRS在合成实验中成功恢复了真实存在的子群，证明了其在子群识别中的鲁棒性与准确性。
• 通过使用多条规则，该方法有效捕捉了如弧形分布等复杂子群形状，而单规则模型无法表达此类结构。
• CRS通过边界与启发式策略展现出优越的搜索效率，实现了规则集空间的可扩展探索。
• 与QUINT相比（在医疗众筹数据集上未发现任何子群），CRS识别出一个具有高支持度（48.9%）和正向ATE的有意义且可解释的规则集。