[论文解读] Feature Selection via Regularized Trees

Houtao Deng, George C. Runger|arXiv (Cornell University)|Jan 7, 2012

Neural Networks and Applications参考文献 26被引用 55

一句话总结

本文提出了一种树正则化框架，通过惩罚与先前选择特征信息增益相似的特征重复使用，使随机森林和提升树模型能够实现高效、嵌入式的特征选择。该方法在单次模型训练过程中即可选出高质量、非冗余的特征子集，在准确率和效率上优于传统过滤法和包装法，且能自然处理复杂数据类型。

ABSTRACT

We propose a tree regularization framework, which enables many tree models to perform feature selection efficiently. The key idea of the regularization framework is to penalize selecting a new feature for splitting when its gain (e.g. information gain) is similar to the features used in previous splits. The regularization framework is applied on random forest and boosted trees here, and can be easily applied to other tree models. Experimental studies show that the regularized trees can select high-quality feature subsets with regard to both strong and weak classifiers. Because tree models can naturally deal with categorical and numerical variables, missing values, different scales between variables, interactions and nonlinearities etc., the tree regularization framework provides an effective and efficient feature selection solution for many practical problems.

研究动机与目标

• 为解决基于包装法的特征选择方法因需多次训练模型而导致的高计算成本问题。
• 开发一种单模型嵌入式特征选择方法，在保持预测性能的同时减少特征冗余。
• 为基于树的模型增加内置的特征选择能力，以处理混合数据类型、缺失值及非线性关系。
• 评估正则化框架在强分类器（如随机森林）和弱分类器（如C4.5）上的有效性。
• 证明该方法能自动选择紧凑且高质量的特征子集，且对预测准确率的损失最小。

提出的方法

• 该框架引入一种正则化惩罚项，若新特征的信息增益与先前分裂中已使用的特征相似，则会抑制其被选为分裂特征。
• 惩罚基于信息增益的相似性，通过设定阈值来判断某特征的增益是否相对于已选特征具有冗余性。
• 该方法被应用于随机森林（RRF）和提升树（RBoost），通过在分裂准则中引入正则化项进行修改。
• 特征选择嵌入于模型训练过程中——无需单独的模型迭代，从而实现单次遍历学习。
• 该正则化方法具有通用性，可适配任何每轮分裂仅使用单个特征的树模型。
• 该框架天然支持分类变量与数值变量、缺失值、量纲差异、特征交互及非线性关系。

实验结果

研究问题

• RQ1 能否设计一种正则化框架，使树集成模型在无需多次重新训练模型的情况下实现特征选择？
• RQ2 与传统过滤法（如CFS、FCBF）和包装法（如SVM-RFE）相比，正则化树集成方法在特征子集质量与预测准确率方面的表现如何？
• RQ3 该正则化框架是否能在减少特征冗余与计算成本的同时，保持或提升分类准确率？
• RQ4 该方法在强学习器（如随机森林）和弱学习器（如C4.5）上的表现如何？
• RQ5 该框架能否自动确定最优特征数量，而无需交叉验证或手动设定截断点？

主要发现

• RRF与RBoost所选的特征子集在分类准确率上与使用全部特征相比保持不变或略有提升，尤其在随机森林等强学习器上表现更优。
• 使用RRF或RBoost所选特征的随机森林模型，其准确率损失显著低于使用CFS或FCBF所选特征的模型，表明其更好地保留了预测信息。
• 正则化树集成方法所选特征数量多于CFS与FCBF，但取得了更优的预测性能，表明额外特征捕捉到了有用的多维交互关系。
• 对于小样本数据集（如arcene），RRF与RBoost在性能上未显著优于CFS，可能由于树深度有限，难以捕捉复杂交互关系。
• C4.5在所有特征选择方法中表现具有竞争力，但RRF与RBoost在强学习器（如随机森林）上的优势更为显著。
• RRF在准确率上可与SVM-RFE的最优点相媲美，但速度显著更快——每轮运行时间低于10秒，而SVM-RFE超过100秒，展现出卓越的效率。