[论文解读] Dimensionality Invariant Similarity Measure

Ahmad B. Hassanat|arXiv (Cornell University)|Sep 2, 2014

Face and Expression Recognition参考文献 22被引用 13

一句话总结

本文提出了一种维度不变的相似性度量方法，旨在通过减轻高方差特征的影响来提升K近邻（KNN）分类的性能。该方法在数学上证明了其作为度量的有效性，并在真实数据集上表现出优于传统距离度量的性能，显示出在多种机器学习应用中的强大潜力。

ABSTRACT

This paper presents a new similarity measure to be used for general tasks including supervised learning, which is represented by the K-nearest neighbor classifier (KNN). The proposed similarity measure is invariant to large differences in some dimensions in the feature space. The proposed metric is proved mathematically to be a metric. To test its viability for different applications, the KNN used the proposed metric for classifying test examples chosen from a number of real datasets. Compared to some other well known metrics, the experimental results show that the proposed metric is a promising distance measure for the KNN classifier with strong potential for a wide range of applications.

研究动机与目标

• 解决特征空间维度不平衡问题，即特征尺度差异过大导致机器学习中相似性度量失真。
• 开发一种在不同特征尺度和维度下均保持鲁棒的相似性度量方法。
• 确保所提出的度量满足度量的数学性质，以保证理论上的有效性。
• 使用KNN作为基础分类器，在真实世界分类任务中评估该方法的有效性。
• 在实际应用中证明所提出的度量优于现有知名距离度量的优越性。

提出的方法

• 提出一种新的相似性度量方法，通过归一化特征贡献来降低高方差维度的影响。
• 采用维度不变的归一化方案来构建度量，以平衡特征空间的贡献。
• 在数学上证明所提出的度量满足度量的公理：非负性、不可区分者的同一性、对称性以及三角不等式。
• 将该相似性度量应用于KNN分类器框架中以完成分类任务。
• 使用真实世界数据集对KNN结合所提度量的性能进行经验评估。
• 与欧几里得距离和曼哈顿距离等标准度量进行对比，以验证其有效性。

实验结果

研究问题

• RQ1 能否设计一种相似性度量方法，使其对维度间特征尺度的巨大差异保持鲁棒？
• RQ2 所提出的度量是否满足被归类为有效度量所需的数学条件？
• RQ3 当使用所提出的相似性度量时，KNN分类器的性能相较于传统度量有何表现？
• RQ4 所提出的度量在具有异质特征尺度的真实数据集上，能在多大程度上提升分类准确率？
• RQ5 所提出的相似性度量是否具有跨多种机器学习应用的泛化能力，而不仅限于KNN？

主要发现

• 所提出的相似性度量在数学上被证明是一个有效度量，满足所有四个度量公理。
• 在真实数据集上的实验结果表明，使用所提度量的KNN分类器在分类准确率上优于使用欧几里得距离和曼哈顿距离的KNN。
• 该方法有效减轻了高方差特征对相似性计算的负面影响，提升了鲁棒性。
• 所提出的度量在多种数据集和应用中展现出强大的泛化潜力。
• 性能提升在多个真实世界数据集中保持一致，表明其具有可靠性与可扩展性。