[论文解读] Fast Prediction of New Feature Utility

Hoyt Koepke, Mikhail Bilenko|arXiv (Cornell University)|Jun 18, 2012

Machine Learning and Data Classification参考文献 24被引用 3

一句话总结

该论文提出了一种快速、无需微调的方法，通过利用新特征与训练好预测器的损失梯度之间的相关性，预测新特征是否能提升模型性能。该技术实现了特征效用的一致、高效假设检验，在基准数据集和工业数据上均经过验证，显著降低了计算成本。

ABSTRACT

We study the new feature utility prediction problem: statistically testing whether adding a new feature to the data representation can improve predictive accuracy on a supervised learning task. In many applications, identifying new informative features is the primary pathway for improving performance. However, evaluating every potential feature by re-training the predictor with it can be costly. The paper describes an efficient, learner-independent technique for estimating new feature utility without re-training based on the current predictor's outputs. The method is obtained by deriving a connection between loss reduction potential and the new feature's correlation with the loss gradient of the current predictor. This leads to a simple yet powerful hypothesis testing procedure, for which we prove consistency. Our theoretical analysis is accompanied by empirical evaluation on standard benchmarks and a large-scale industrial dataset.

研究动机与目标

• 解决通过完整微调评估新特征所带来的高计算成本问题。
• 开发一种与学习器无关的方法，无需微调预测器即可预测特征效用。
• 实现在真实应用中对大规模候选特征池的快速筛选。
• 为特征效用预测提供统计上一致的假设检验。

提出的方法

• 该方法推导了潜在的训练损失减少量与新特征和当前预测器损失梯度之间相关性之间的联系。
• 基于此相关性构建检验统计量，实现在无需微调的情况下对特征效用进行假设检验。
• 在弱正则性条件下具有渐近一致性，确保随着样本量增大，预测结果更加可靠。
• 该方法适用于任意可微损失函数和任意基学习器。
• 利用当前预测器的输出来估计损失梯度，避免了微调过程。
• 该方法计算高效，仅需对数据进行一次遍历即可计算出检验统计量。

实验结果

研究问题

• RQ1 我们能否在不微调模型的情况下预测新特征是否能提升预测准确率？
• RQ2 如何高效地估计特征效用，且其结果与学习算法无关？
• RQ3 该方法在一致性与可靠性方面具有怎样的统计特性？
• RQ4 与完整微调相比，该方法在准确率和计算成本方面表现如何？
• RQ5 该方法能否在标准基准数据集和大规模工业数据集中均有效应用？

主要发现

• 所提方法实现了特征效用预测的一致性，随着样本量增大，具有理论保证的正确性。
• 实证评估表明，该方法在识别有用特征方面与完整微调的性能非常接近。
• 与基于微调的评估相比，该方法将计算成本降低了数量级。
• 在标准基准数据集和大规模工业数据集上，该方法以高精度和低假阳性率识别出高价值特征。
• 该方法在不同类型的预测器和损失函数下均表现出鲁棒性。
• 该方法通过允许在不微调的前提下快速筛选数千个候选特征，实现了可扩展的特征工程。