[论文解读] Dynamic Feature Scaling for K-Nearest Neighbor Algorithm

Chandrasekaran Anirudh Bhardwaj, Megha Mishra+1 more|arXiv (Cornell University)|Nov 13, 2018

Data Mining Algorithms and Applications参考文献 18被引用 4

一句话总结

本文提出一种K-最近邻（K-NN）算法的动态特征缩放方法，该方法基于多个决策树的袋外误差估计为每个特征分配独立的特征权重，通过超越均匀缩放的特征重要性自适应调整，从而提高预测准确性。该方法通过集成模型性能学习特征特定权重，优于标准的归一化技术。

ABSTRACT

Nearest Neighbors Algorithm is a Lazy Learning Algorithm, in which the algorithm tries to approximate the predictions with the help of similar existing vectors in the training dataset. The predictions made by the K-Nearest Neighbors algorithm is based on averaging the target values of the spatial neighbors. The selection process for neighbors in the Hermitian space is done with the help of distance metrics such as Euclidean distance, Minkowski distance, Mahalanobis distance etc. A majority of the metrics such as Euclidean distance are scale variant, meaning that the results could vary for different range of values used for the features. Standard techniques used for the normalization of scaling factors are feature scaling method such as Z-score normalization technique, Min-Max scaling etc. Scaling methods uniformly assign equal weights to all the features, which might result in a non-ideal situation. This paper proposes a novel method to assign weights to individual feature with the help of out of bag errors obtained from constructing multiple decision tree models.

研究动机与目标

• 解决K-NN中统一特征缩放的局限性，即所有特征均被同等对待，尽管其预测重要性各不相同。
• 开发一种数据驱动的方法，为特征分配反映其与目标变量相关性的权重。
• 通过用自适应、模型驱动的特征缩放替代静态归一化，提升K-NN性能。
• 在不依赖Z得分或最小-最大缩放等固定归一化技术的前提下，降低对特征尺度变化的敏感性。

提出的方法

• 在训练数据的自助采样上训练多个决策树，以计算每个特征的袋外（OOB）误差率。
• 从集成树中每个特征对OOB误差减少的贡献中推导出特征重要性。
• 使用基于OOB误差的重要性评分，在K-NN中应用距离度量前为特征分配动态权重。
• 修改K-NN中的距离计算，以整合这些学习到的特征权重，从而根据特征的预测能力实现有效缩放。
• 最终的K-NN预测使用加权距离度量，其中重要性更高的特征对邻居选择的贡献更大。
• 该方法通过从模型性能中学习特征特定缩放，避免依赖全局归一化。

实验结果

研究问题

• RQ1 基于集成模型推导出的特征权重是否能提升K-NN性能，相比统一缩放？
• RQ2 基于OOB误差的动态特征加权如何影响K-NN预测精度？
• RQ3 所提出的方法是否能降低真实世界数据集中特征尺度变化带来的影响？
• RQ4 OOB误差估计能否在无需标注验证集的情况下可靠地指导K-NN的特征重要性？

主要发现

• 所提出的动态特征缩放方法显著提升了K-NN的预测精度，相比Z得分和最小-最大缩放等标准归一化技术。
• 基于袋外误差推导的特征权重有效捕捉了预测相关性，从而在距离计算中实现更优的邻居选择。
• 该方法通过根据其对模型性能的低贡献度降低无关或噪声特征的权重，从而减轻其影响。
• 该方法对特征尺度变化表现出鲁棒性，因其按特征自适应调整权重，而非应用统一缩放。