[论文解读] Comparing K-Nearest Neighbors and Potential Energy Method in classification problem. A case study using KNN applet by E.M. Mirkes and real life benchmark data sets

Yanshan Shi|arXiv (Cornell University)|Nov 5, 2012

Face and Expression Recognition参考文献 5被引用 3

一句话总结

本研究比较了K-最近邻（KNN）与势能（PE）方法在监督分类中的表现，采用Yukawa势和高斯势作为能量函数。利用E.M. Mirkes的KNN小程序和真实基准数据集，研究发现KNN与采用高斯势的PE方法表现相似，而采用Yukawa势的PE方法在高密度数据分布中表现逊于KNN。

ABSTRACT

K-nearest neighbors (KNN) method is used in many supervised learning classification problems. Potential Energy (PE) method is also developed for classification problems based on its physical metaphor. The energy potential used in the experiments are Yukawa potential and Gaussian Potential. In this paper, I use both applet and MATLAB program with real life benchmark data to analyze the performances of KNN and PE method in classification problems. The results show that in general, KNN and PE methods have similar performance. In particular, PE with Yukawa potential has worse performance than KNN when the density of the data is higher in the distribution of the database. When the Gaussian potential is applied, the results from PE and KNN have similar behavior. The indicators used are correlation coefficients and information gain.

研究动机与目标

• 评估并比较K-最近邻（KNN）与势能（PE）方法在真实世界数据集中的分类性能。
• 研究不同势函数（Yukawa与高斯）对PE方法分类准确率的影响。
• 分析数据密度对KNN与PE方法相对性能的影响。
• 通过交互式KNN小程序与基于MATLAB的实现对结果进行验证。
• 使用皮尔逊相关系数与信息增益作为定量指标进行性能比较。

提出的方法

• 使用E.M. Mirkes的KNN小程序对基准数据集进行交互式可视化与分类。
• 采用Yukawa势与高斯势作为能量函数，实现势能方法用于分类。
• 对同一组真实世界基准数据集同时应用KNN与PE方法，以确保公平比较。
• 使用MATLAB进行可复现的分类实验与性能评估。
• 采用皮尔逊相关系数与信息增益作为定量指标评估模型性能。
• 在不同数据密度条件下分析分类结果，以评估各方法的鲁棒性。

实验结果

研究问题

• RQ1 在真实基准数据集中，KNN与势能方法在分类准确率方面如何比较？
• RQ2 势函数的选择（Yukawa vs. 高斯）是否显著影响PE方法的性能？
• RQ3 数据密度如何影响KNN与PE方法的相对性能？
• RQ4 KNN小程序的结果是否与基于MATLAB的实现结果一致？
• RQ5 皮尔逊相关系数与信息增益是否对模型性能得出一致的结论？

主要发现

• 在测试的基准数据集中，KNN与采用高斯势的PE方法表现出非常相似的分类性能。
• 采用Yukawa势的PE方法始终逊于KNN，尤其在高密度数据集中表现更差。
• KNN与高斯PE方法在预测标签与真实标签之间的皮尔逊相关系数相近，表明结果具有一致性。
• KNN与高斯PE方法的信息增益值相似，表明其在特征相关性检测方面表现相当。
• 随着数据密度增加，KNN与Yukawa PE方法之间的性能差距扩大，表明后者对聚类敏感。
• KNN小程序提供的结果与基于MATLAB的实现结果一致，验证了实验方法的可靠性。