[论文解读] Feature Selection with the R Package MXM: Discovering Statistically-Equivalent Feature Subsets

Vincenzo Lagani, Giorgos Athineou+3 more|arXiv (Cornell University)|Nov 10, 2016

Gene expression and cancer classification被引用 8

一句话总结

本文在 R 包 MXM 中引入了 SES（统计等价签名）算法，可识别多个统计等价的预测特征子集，为单子集特征选择提供了一种更具鲁棒性和可解释性的替代方法。该方法在预测准确性方面优于或等同于 LASSO，同时选择更少、更简洁的特征，表明在真实世界数据中，多个预测能力相当的签名自然存在。

ABSTRACT

The statistically equivalent signature (SES) algorithm is a method for feature selection inspired by the principles of constrained-based learning of Bayesian Networks. Most of the currently available feature-selection methods return only a single subset of features, supposedly the one with the highest predictive power. We argue that in several domains multiple subsets can achieve close to maximal predictive accuracy, and that arbitrarily providing only one has several drawbacks. The SES method attempts to identify multiple, predictive feature subsets whose performances are statistically equivalent. Under that respect SES subsumes and extends previous feature selection algorithms, like the max-min parent children algorithm. SES is implemented in an homonym function included in the R package MXM, standing for mens ex machina, meaning 'mind from the machine' in Latin. The MXM implementation of SES handles several data-analysis tasks, namely classification, regression and survival analysis. In this paper we present the SES algorithm, its implementation, and provide examples of use of the SES function in R. Furthermore, we analyze three publicly available data sets to illustrate the equivalence of the signatures retrieved by SES and to contrast SES against the state-of-the-art feature selection method LASSO. Our results provide initial evidence that the two methods perform comparably well in terms of predictive accuracy and that multiple, equally predictive signatures are actually present in real world data.

研究动机与目标

• 解决现有特征选择方法仅返回单一子集的局限性，尽管在实际中常存在多个预测能力相当的子集。
• 开发一种方法，识别多个统计等价的最小大小特征子集，以实现最大预测能力。
• 在开源 R 包 MXM 中实现 SES 算法，适用于分类、回归和生存分析。
• 通过实证验证，确认真实世界数据中确实存在多个等价签名，且 SES 能可靠地检索它们。
• 将 SES 与 LASSO 在预测性能、稳定性及特征集大小方面进行比较。

提出的方法

• SES 算法基于约束学习原理，受贝叶斯网络结构发现的启发，用于识别统计等价的特征子集。
• 通过条件独立性检验，确定哪些特征在预测目标变量时可互换。
• 该方法识别出在预测性能上统计上无法区分的最小特征集（签名）。
• MXM 包通过多种条件独立性检验，实现了对不同类型数据的支持。
• 该算法被应用于真实世界数据集，以检索并比较分类、回归和生存分析任务中的多个签名。
• 通过比较预测准确性、所选变量数量以及在不同数据划分下的稳定性来评估性能。

实验结果

研究问题

• RQ1 在真实世界数据集中，是否存在多个预测能力相当的统计等价特征子集？
• RQ2 SES 算法能否在不同数据类型和任务中可靠地识别并检索这些等价签名？
• RQ3 SES 的预测性能与 SOTA 特征选择方法 LASSO 相比如何？
• RQ4 与 LASSO 相比，SES 在不同数据划分下所选特征数量的稳定性是否更高？
• RQ5 SES 检索出的签名是否反映了数据中的冗余性，或由于样本量有限导致的统计不可区分性？

主要发现

• 在分析的全部三个真实世界数据集中，均一致识别出多个统计等价的预测特征子集，表明此类等价性在实践中普遍存在。
• SES 检索出的签名在所有数据集中的预测性能极为接近，平均标准差低于 2.0，证实了其统计等价性。
• 在乳腺癌数据集中，SES 平均选择 13.29 个特征（标准差：5.91），而 LASSO 平均选择 10.62 个特征（标准差：15.43），表明 SES 具有更高的稳定性。
• 在 AquaticTox 数据集中，SES 平均仅选择 5.68 个特征（标准差：1.80），而 LASSO 平均选择 160.75 个特征（标准差：66.34），显示出 SES 在简洁性方面的显著优势。
• 在乳腺癌数据集中，LASSO 略微优于 SES，但 SES 以显著更少的特征实现了相当的性能，表明在准确率与模型简洁性之间存在权衡。
• 结果表明，SES 更具简洁性，并通过揭示隐藏的等价性，为数据结构提供了更深层次的洞察，同时保持了与 LASSO 接近的预测准确性。