[论文解读] Causal Feature Selection via Orthogonal Search

Ashkan Soleymani, Anant Raj+3 more|arXiv (Cornell University)|Jul 6, 2020

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了一种新颖的因果特征选择方法，结合正交搜索与双重机器学习原理，仅从纯观测数据中识别响应变量的直接因果父节点。该方法实现多项式时间计算，可处理非线性和循环关系，并提供理论保证，在高维设置下显著优于现有方法。

ABSTRACT

The problem of inferring the direct causal parents of a response variable among a large set of explanatory variables is of high practical importance in many disciplines. However, established approaches often scale at least exponentially with the number of explanatory variables, are difficult to extend to nonlinear relationships, and are difficult to extend to cyclic data. Inspired by {\em Debiased} machine learning methods, we study a one-vs.-the-rest feature selection approach to discover the direct causal parent of the response. We propose an algorithm that works for purely observational data while also offering theoretical guarantees, including the case of partially nonlinear relationships possibly under the presence of cycles. As it requires only one estimation for each variable, our approach is applicable even to large graphs. We demonstrate significant improvements compared to established approaches.

研究动机与目标

• 解决在仅使用观测数据的情况下，从高维、非线性和潜在循环系统中识别响应变量直接因果父节点的挑战。
• 克服现有因果发现方法的局限性，包括指数级扩展、对干预数据的依赖以及在高维设置下的表现不佳。
• 开发一种可扩展且理论基础坚实的特征选择方法，确保在复杂结构方程模型中保持低偏差和高统计功效。
• 将双重机器学习原理扩展至一对一特征选择框架，用于因果发现。
• 为所提出方法的收敛性和选择准确性提供渐近理论保证。

提出的方法

• 该方法采用一对一（one-vs.-the-rest）策略，将每个协变量视为潜在的直接原因，并通过正交化估计方程估计其因果效应。
• 利用双重机器学习技术对线性结构方程模型中的每个系数估计进行去偏处理，降低正则化引起的偏差。
• 对每个变量，使用机器学习模型控制混杂因素，估计给定其他所有变量时响应变量的条件均值。
• 正交化步骤确保感兴趣系数的估计量在渐近下服从正态分布且近似无偏，即使在高维设置下亦成立。
• 该算法计算高效，每个变量仅需一次估计，从而可扩展至大规模图结构。
• 在无响应对协变量的直接影响（NFD）和线性直接效应（LDC）假设下，推导出理论保证，即使在非线性和循环结构下也成立。

实验结果

研究问题

• RQ1 基于双重机器学习原理的一对多特征选择方法，能否在纯观测、高维数据中有效识别直接因果父节点？
• RQ2 在存在非线性关系和循环混杂结构的情况下，所提出方法是否能保持统计一致性与低偏差？
• RQ3 该方法能否在保持理论保证的同时实现多项式时间复杂度，适用于高维设置？
• RQ4 与标准正则化技术（如Lasso）相比，该方法在高维因果特征选择中的选择准确性和偏差方面表现如何？
• RQ5 该方法在具有复杂非线性和循环依赖关系的真实世界数据集中，其泛化能力如何？

主要发现

• 与现有成熟方法相比，所提出方法在因果特征选择准确性方面实现显著提升，尤其在高维和非线性设置下表现突出。
• 该方法展现出强大的实证性能，在1000次重复实验中，正确识别出患者年龄分位数和血气参数等关键临床特征为半重症监护病房入院的直接原因。
• 在1000次重复实验中，患者年龄分位数在半重症监护和重症监护病房结果中均被100%预测为直接原因，表明其具有高度稳定性和可靠性。
• 如pO2、ctO2和pH静脉血气分析等特征在超过90%的实验中被预测为直接原因，与临床预期一致。
• 该方法在复杂医学数据集中成功识别出具有生物学合理性的直接因果因素，包括肌酐、乳酸脱氢酶和转氨酶等标志物，且预测频率较高。
• 在高维场景下，尤其在样本有限时，该方法在选择准确性和偏差降低方面优于标准Lasso和无正则化回归基线。