[论文解读] Causal Falling Rule Lists

Fulton Wang, Cynthia Rudin|arXiv (Cornell University)|Oct 18, 2015

Advanced Causal Inference Techniques参考文献 23被引用 14

一句话总结

本文提出因果下落规则列表（CFRL），一种贝叶斯模型，通过可解释的if-then规则序列识别具有单调递减处理效应的子群。通过将模型选择问题表述为贝叶斯证据最大化问题，并使用变分推断，CFRL在美国家庭普查工资数据集中恢复了异质性处理效应，揭示出在白人专业人士中性别工资差异最为显著，并随着职业、教育水平和就业状态等子群的划分而逐渐减小。

ABSTRACT

A causal falling rule list (CFRL) is a sequence of if-then rules that specifies heterogeneous treatment effects, where (i) the order of rules determines the treatment effect subgroup a subject belongs to, and (ii) the treatment effect decreases monotonically down the list. A given CFRL parameterizes a hierarchical bayesian regression model in which the treatment effects are incorporated as parameters, and assumed constant within model-specific subgroups. We formulate the search for the CFRL best supported by the data as a Bayesian model selection problem, where we perform a search over the space of CFRL models, and approximate the evidence for a given CFRL model using standard variational techniques. We apply CFRL to a census wage dataset to identify subgroups of differing wage inequalities between men and women.

研究动机与目标

• 解决基于树的方法在识别异质性处理效应时的可解释性与认知负担问题。
• 开发一种通过单调有序规则列表对处理效应子群进行排序的模型，以衡量其有效性。
• 将因果规则列表发现问题形式化为贝叶斯模型选择问题，以避免过拟合并消除对交叉验证的需求。
• 将该方法应用于真实世界数据，特别是基于性别的工资差异，以揭示子群特定的处理效应。

提出的方法

• 因果下落规则列表（CFRL）被定义为一系列if-then规则，将特征空间划分为具有恒定且单调递减处理效应的子群。
• 通过分层贝叶斯回归对模型进行参数化，假设每个规则定义的子群内处理效应恒定。
• 通过最大化贝叶斯证据（边际似然）进行模型选择，使用变分推断近似参数的后验分布。
• 使用模拟退火算法搜索可能的规则列表空间，其中操作包括添加、删除或重新排序规则。
• 该方法假设条件可忽略性，并采用Rubin潜在结果框架来建模反事实结果。
• 通过变分推断进行后验推断，并在包含7,548名个体和54个二值特征的工资数据集上与Gibbs抽样进行验证。

实验结果

研究问题

• RQ1 是否可以使用具有单调处理效应的基于规则的模型，以既可解释又统计严谨的方式识别具有差异处理效应的子群？
• RQ2 与贪婪的树基方法相比，基于变分推断的贝叶斯模型选择框架在识别因果子群方面有何改进？
• RQ3 CFRL在具有已知基于规则异质性的模拟数据中，能在多大程度上恢复真实的潜在处理效应结构？
• RQ4 在真实世界的工资数据中，CFRL的后验处理效应估计与倾向得分匹配等标准方法相比如何？

主要发现

• 模拟退火过程在模拟数据中成功恢复了真实的CFRL模型，平均编辑距离随样本量增加而减小。
• 在美国家庭普查工资数据集中，最高证据CFRL模型识别出白人专业人士是男性身份带来最大处理效应（5.49）的子群，其次是无工会地位的工厂工人（3.93）。
• 变分推断的后验处理效应估计与Gibbs抽样结果高度一致，验证了近似方法的准确性。
• 由于处理效应先验中的单调性约束，CFRL模型的后验估计系统性高于倾向得分匹配方法。
• 模型显示，处理效应在七个子群中从5.49单调递减至0.55，其中高收入、白人、专业人士群体的工资差异最为显著。
• 该方法成功识别出可解释且可操作的子群——如白人专业人士和非工会工厂工人——在这些群体中性别导致的工资差距最为显著。