[论文解读] A Unified View of Causal and Non-causal Feature Selection

Kui Yu, Lin Liu+1 more|arXiv (Cornell University)|Feb 16, 2018

Bayesian Modeling and Causal Inference被引用 13

一句话总结

本文提出一个统一的理论框架，揭示因果与非因果特征选择方法在最终目标上是等价的：识别类别变量的马尔可夫毯。通过贝叶斯网络与信息论建模问题，作者表明两种方法均旨在寻找同一组最优特征，其差异源于结构假设与搜索策略中的近似程度，从而产生可量化的误差界与可解释性洞察。

ABSTRACT

In this paper, we aim to develop a unified view of causal and non-causal feature selection methods. The unified view will fill in the gap in the research of the relation between the two types of methods. Based on the Bayesian network framework and information theory, we first show that causal and non-causal feature selection methods share the same objective. That is to find the Markov blanket of a class attribute, the theoretically optimal feature set for classification. We then examine the assumptions made by causal and non-causal feature selection methods when searching for the optimal feature set, and unify the assumptions by mapping them to the restrictions on the structure of the Bayesian network model of the studied problem. We further analyze in detail how the structural assumptions lead to the different levels of approximations employed by the methods in their search, which then result in the approximations in the feature sets found by the methods with respect to the optimal feature set. With the unified view, we are able to interpret the output of non-causal methods from a causal perspective and derive the error bounds of both types of methods. Finally, we present practical understanding of the relation between causal and non-causal methods using extensive experiments with synthetic data and various types of real-word data.

研究动机与目标

• 解决对因果与非因果特征选择方法之间关系理解的根本性鸿沟。
• 确立两种方法均旨在识别类别属性的马尔可夫毯，即分类任务中理论上最优的特征集合。
• 通过将因果与非因果方法的假设映射到贝叶斯网络模型中的结构约束，实现其假设的统一。
• 分析结构假设如何导致特征选择中不同层次的近似，从而产生与最优特征集不同程度的偏离。
• 推导因果与非因果方法的误差界，并通过在合成数据与真实世界数据上的大量实验，提供实际洞察。

提出的方法

• 使用贝叶斯网络框架进行理论分析，以建模特征与类别变量的联合分布。
• 应用信息论，特别是互信息，量化在马尔可夫毯发现背景下特征的相关性与条件独立性。
• 将因果与非因果方法中的搜索策略映射到贝叶斯网络中的特定结构假设（如条件独立性假设、忠实性、马尔可夫性质）。
• 基于近似特征集与真实马尔可夫毯之间的差异，推导特征选择方法的误差界。
• 系统比较8种特征选择算法（如IAMB、HITON-MB、mRMR、JMI）在多个数据集上的表现，指标包括分类准确率、Kappa统计量、所选特征数量与运行时间。
• 使用合成数据验证理论假设，使用真实世界数据集（如hiva、ohsumed、thrombin、infant）展示实际性能与鲁棒性。

实验结果

研究问题

• RQ1 非因果特征选择（寻找强相关特征）的目标与因果特征选择（寻找马尔可夫毯）之间的根本关系是什么？本文表明两者均旨在识别同一组最优特征集合。
• RQ2 因果与非因果方法的搜索策略有何不同，其差异背后的假设是什么？差异源于贝叶斯网络模型中的结构假设，如忠实性与马尔可夫性质。
• RQ3 结构假设对所选特征集合相对于真实马尔可夫毯的近似质量有何影响？假设导致不同程度的近似，通过误差界进行量化。
• RQ4 非因果特征选择方法能否通过因果视角解释，反之亦然？是的，通过统一框架，可实现对非因果结果的因果解释。
• RQ5 两类方法的理论与经验误差界是什么？本文通过合成与真实世界数据推导并验证了这些误差界。

主要发现

• 因果与非因果特征选择方法具有相同的目标：识别类别变量的马尔可夫毯，即分类任务中理论上最优的特征集合。
• 马尔可夫毯包含类别变量的父节点、子节点及其配偶节点，所有方法均旨在恢复该集合，尽管近似程度不同。
• 实验中，HITON-MB与IAMB在预测准确率上表现最佳（如在thrombin数据集上使用NBC时达到0.7576 ± 0.05），而mRMR与JMI在Kappa统计量上表现优异（如在thrombin数据集上使用KNN时达到0.5935 ± 0.12）。
• HITON-MB与IAMB所选特征更少（如在hiva数据集中分别为7与8个特征），而mRMR选择30个特征，表明其具有更好的简洁性。
• 运行时间差异显著：MMMB与HITON-MB计算成本较高（如在thrombin数据集上HITON-MB耗时23,456秒），而mRMR与JMI更快（如在infant数据集上mRMR仅耗时0.1秒）。
• 统一框架可实现误差界估计，表明近似质量取决于结构假设的强弱，假设越强，对真实马尔可夫毯的近似越好。