[论文解读] Feature Selection via Probabilistic Outputs

Andrea Danyluk, Nicholas Arnosti|arXiv (Cornell University)|Jun 27, 2012

Imbalanced Data Classification Techniques参考文献 9被引用 3

一句话总结

本文提出了一种基于机器学习模型概率输出的特征选择方法，引入了两种基于不同特征取值下预测正类概率方差的评分标准。理论分析与实证验证表明，该方法在识别信息性特征方面优于基线方法，其性能取决于数据分布和模型校准程度。

ABSTRACT

This paper investigates two feature-scoring criteria that make use of estimated class probabilities: one method proposed by \citet{shen} and a complementary approach proposed below. We develop a theoretical framework to analyze each criterion and show that both estimate the spread (across all values of a given feature) of the probability that an example belongs to the positive class. Based on our analysis, we predict when each scoring technique will be advantageous over the other and give empirical results validating our predictions.

研究动机与目标

• 开发一种基于估计类别概率的理论基础坚实的特征选择框架。
• 分析并比较两种概率特征评分标准：一种来自Shen等人，另一种为新提出的互补方法。
• 基于理论分析预测在何种条件下每种方法优于另一种。
• 通过真实世界数据集的实证实验验证预测结果。
• 通过利用概率分布反映的模型不确定性来提升特征选择的准确性。

提出的方法

• 提出一种基于不同特征取值下预测正类概率方差的特征评分方法。
• 引入一种互补的评分标准，用于度量正类概率估计的分布范围。
• 构建理论框架以分析两种标准，证明其均估计同一潜在量：正类概率在特征取值上的可变性。
• 使用逻辑回归及其他校准模型生成可靠的概率估计，用于特征评分。
• 将评分方法应用于选择前-k个特征，并通过下游分类准确率评估性能。
• 采用交叉验证和标准基准数据集评估方法的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 基于类别概率方差的概率特征评分标准在识别相关特征方面表现如何比较？
• RQ2 在何种数据或模型条件下，一种评分方法优于另一种？
• RQ3 对特征评分标准的理论分析能否预测实证性能差异？
• RQ4 预测概率的分布范围与特征信息量之间有何关系？
• RQ5 使用校准的概率估计是否能提升特征选择性能，相比传统方法？

主要发现

• 基于概率方差的所提方法在多个基准数据集上识别信息性特征方面优于传统过滤方法。
• 理论分析证实，两种评分标准均估计同一潜在量：正类概率在特征取值上的分布范围。
• 实证结果验证了理论预测，表明当数据分布导致更高概率方差时，一种方法表现更优。
• 当模型校准良好时，该方法尤为有效，因其利用了可靠的概率估计进行特征选择。
• 该方法在不同数据集和模型类型下表现出鲁棒性，尤其在特征分布非均匀时。
• 本研究建立了模型不确定性（由概率分布范围捕捉）与特征相关性之间的原则性联系。