[论文解读] K-Nearest Neighbour and Support Vector Machine Hybrid Classification

Abdul Mueed Hafiz|arXiv (Cornell University)|Jun 28, 2020

Face and Expression Recognition参考文献 27被引用 4

一句话总结

本文提出了一种混合K-最近邻（K-NN）与支持向量机（SVM）的分类方法，通过仅在测试样本与训练数据的距离满足预设接近阈值时应用K-NN，而对剩余样本则使用基于类别特定最近训练样本训练的SVM，从而提高准确率。该方法在USPS、MNIST和阿拉伯数字数据集上的表现优于当前最先进的方法。

ABSTRACT

In this paper, a novel K-Nearest Neighbour and Support Vector Machine hybrid classification technique has been proposed that is simple and robust. It is based on the concept of discriminative nearest neighbourhood classification. The technique consists of using K-Nearest Neighbour Classification for test samples satisfying a proximity condition. The patterns which do not pass the proximity condition are separated. This is followed by sifting the training set for a fixed number of patterns for every class which are closest to each separated test pattern respectively, based on the Euclidean distance metric. Subsequently, for every separated test sample, a Support Vector Machine is trained on the sifted training set patterns associated with it, and classification for the test sample is done. The proposed technique has been compared to the state of art in this research area. Three datasets viz. the United States Postal Service (USPS) Handwritten Digit Dataset, MNIST Dataset, and an Arabic numeral dataset, the Modified Arabic Digits Database, MADB, have been used to evaluate the performance of the algorithm. The algorithm generally outperforms the other algorithms with which it has been compared.

研究动机与目标

• 为解决独立K-NN与SVM在处理复杂、非线性可分数据时的局限性，通过结合两者的优势。
• 通过仅对模糊或距离较远的测试样本应用SVM，以降低计算成本并提升泛化能力。
• 开发一种鲁棒且简单的分类框架，在多种手写数字数据集上保持高准确率。
• 在标准基准数据集上超越现有的混合与基线分类技术。

提出的方法

• 首先，仅当测试样本满足基于其与训练数据距离的预定义接近条件时，才使用K-NN进行分类。
• 不满足接近条件的样本被隔离并单独处理。
• 对于每个被隔离的测试样本，从训练集中筛选出每类中距离最近的固定数量样本，使用欧几里得距离度量。
• 然后，为每个被隔离的测试样本所关联的筛选后训练样本，分别训练一个SVM。
• 每个测试样本的分类结果由K-NN结果（若满足接近条件）或对应SVM结果（否则）决定。
• 该方法利用K-NN的局部不变性与SVM的全局优化能力，以增强决策边界。

实验结果

研究问题

• RQ1 结合K-NN与SVM的混合方法是否能提升手写数字识别任务的分类准确率？
• RQ2 对测试样本进行基于接近度的过滤如何影响混合模型的性能与效率？
• RQ3 在筛选出的最近训练样本上训练类别特定SVM，是否能比使用完整训练集获得更好的泛化能力？
• RQ4 所提出的方法在基准数据集上与当前最先进的混合与独立分类器相比表现如何？
• RQ5 数据集特性（如类别分布、数字书写风格）对混合模型性能有何影响？

主要发现

• 所提出的混合方法在USPS手写数字数据集上的表现优于当前最先进的算法。
• 在MNIST数据集上，该方法的准确率高于基线K-NN与SVM分类器，显示出更好的泛化能力。
• 该算法在修改版阿拉伯数字数据库（MADB）上也表现出色，表明其在不同数字书写风格下的鲁棒性。
• 采用接近度过滤显著减少了SVM的训练实例数量，提升了计算效率，且未牺牲准确率。
• 局部K-NN决策与全局SVM学习的结合，使模型在模糊或距离较远的测试样本上分类更加可靠。