[论文解读] Wasserstein Random Forests and Applications in Heterogeneous Treatment Effects

Qiming Du, Gérard Biau+2 more|arXiv (Cornell University)|Jun 8, 2020

Groundwater flow and contamination studies被引用 6

一句话总结

本文提出了Wasserstein随机森林（WRF），这是一种随机森林的新扩展，使用经验条件分布之间的Wasserstein距离作为分裂准则，通过建模潜在结果的完整条件分布，实现对异质处理效应的精确估计。该方法通过捕捉分布变化、多峰性和处理异质性等超越均值效应的特征，提升了因果推断的透明度。

ABSTRACT

We present new insights into causal inference in the context of Heterogeneous Treatment Effects by proposing natural variants of Random Forests to estimate the key conditional distributions. To achieve this, we recast Breiman's original splitting criterion in terms of Wasserstein distances between empirical measures. This reformulation indicates that Random Forests are well adapted to estimate conditional distributions and provides a natural extension of the algorithm to multivariate outputs. Following the philosophy of Breiman's construction, we propose some variants of the splitting rule that are well-suited to the conditional distribution estimation problem. Some preliminary theoretical connections are established along with various numerical experiments, which show how our approach may help to conduct more transparent causal inference in complex situations.

研究动机与目标

• 解决传统因果推断方法仅关注平均处理效应（CATE）的局限性，这些方法可能忽略多峰性或方差变化等分布复杂性。
• 开发一种随机森林变体，以估计给定协变量X下潜在结果Y(0)和Y(1)的完整条件分布，而非仅估计其均值。
• 在处理效应在子群体间差异显著且数据不平衡的复杂现实场景中，实现更透明和稳健的因果推断。
• 为在高维协变量和无混淆性假设下估计条件分布，提供一种实用且可扩展的框架。
• 通过建模结果与成本的联合分布，支持多变量处理情境下的决策制定。

提出的方法

• 将Breiman原始随机森林的分裂准则重新表述为左、右子节点中响应变量经验概率测度之间的Wasserstein距离。
• 提出两种主要变体：$L_{\text{intra}}^2$-WRF和$L_{\text{inter}}^1$-WRF，分别通过最小化组内和组间Wasserstein距离来改进分布估计。
• 利用每个节点中响应变量的经验测度计算$\mathscr{W}_p$距离，从而实现对条件分布$\mathcal{L}(Y|X=x)$的估计。
• 应用带有自助采样（bagging）和随机特征选择的随机森林集成方法，通过基于节点接近度的权重对树的预测结果进行平均。
• 通过将响应向量视为分布，将框架扩展至处理多变量输出，从而实现对多个结果的联合建模。
• 提供一个Python软件包，用于实际部署和验证所提出的WRF模型。

实验结果

研究问题

• RQ1 经验分布之间的Wasserstein距离能否作为随机森林中估计条件分布的合理且有效分裂准则？
• RQ2 与基于均值的方法相比，WRF在捕捉条件分布的复杂特征（如多峰性或偏度）方面表现如何？
• RQ3 在处理组不平衡或倾向得分较低的情境下，WRF在多大程度上改善了因果推断？
• RQ4 WRF能否扩展至处理治疗效应估计中的多变量或联合结果分布？
• RQ5 当真实条件分布为非高斯分布或存在异质性时，WRF的性能在不同数据生成机制下如何变化？

主要发现

• 对于目标个体$x_\star^{(1)}=\pi/4$，$x_\star^{(2)}=1$，且$x_\star^{(6)}=\pi/6$，估计的$\pi_0(x_\star,\cdot)$极为准确，表明在估计对照组潜在结果分布方面表现强劲。
• 相比之下，$\pi_1(x_\star,\cdot)$的估计质量较差，突显了在倾向得分较低（如$e(x_\star)=0$）区域的挑战。
• $L_{\text{intra}}^2$-WRF和$L_{\text{inter}}^1$-WRF变体在估计$\pi_0$方面表现相当，但当治疗分配稀少时，两者在$\pi_1$估计上均表现不佳。
• 数值实验表明，WRF通过可视化完整条件分布，提供了更透明的因果推断，可揭示基于均值方法无法察觉的分布变化。
• 该方法在捕捉偏度和多峰性等分布特征方面表现出稳健性，尤其相较于标准软件包中的核密度估计（kde）更具优势。
• 理论联系表明，WRF在温和正则性条件下，即使倾向得分接近0或1，也适用于估计条件分布。