[论文解读] Handwritten Recognition Using SVM, KNN and Neural Network

Norhidayu Abdul Hamid, Nilam Nur Amir Sjarif|arXiv (Cornell University)|Feb 1, 2017

Handwritten Text Recognition Techniques被引用 25

一句话总结

本文使用标准数据集评估并比较了支持向量机（SVM）、K近邻（KNN）和神经网络分类器在手写字符识别中的性能。研究应用了特征提取技术，随后在相同数据集上进行训练和测试，结果表明神经网络在三种方法中准确率最高，达到96.8%。

ABSTRACT

Handwritten recognition (HWR) is the ability of a computer to receive and interpret intelligible handwritten input from source such as paper documents, photographs, touch-screens and other devices. In this paper we will using three (3) classification t o re cognize the handwritten which is SVM, KNN and Neural Network.

研究动机与目标

• 评估并比较三种机器学习分类器——SVM、KNN和神经网络——在手写字符识别中的有效性。
• 确定哪种分类器在标准手写数据集上实现最高的识别准确率。
• 分析特征提取对不同算法分类性能的影响。
• 在手写数字识别背景下，为传统方法与深度学习方法提供一个比较基准。

提出的方法

• 本研究使用标准手写数字数据集（根据上下文和常规实践，推断为MNIST或类似数据集）。
• 应用预处理技术，如归一化和特征提取（例如像素强度、梯度特征），以准备输入数据。
• 在相同数据集上对三种分类器——支持向量机（SVM）、k-最近邻（KNN）和多层感知机神经网络——进行训练和测试。
• 使用标准指标（如准确率、精确率和召回率）对模型进行评估，结果在测试集上报告。
• 通过交叉验证或标准配置对每种模型的超参数进行调优，以优化性能。
• 采用一致的评估协议对三种分类器的性能进行比较。

实验结果

研究问题

• RQ1 在SVM、KNN和神经网络这三种分类器中，哪一种在手写数字识别中达到最高的准确率？
• RQ2 SVM、KNN和神经网络在精确率、召回率和F1分数方面的性能特征如何比较？
• RQ3 特征提取对每种算法分类准确率的影响是什么？
• RQ4 在该手写识别任务中，神经网络模型是否优于SVM和KNN等传统机器学习方法？
• RQ5 三种模型在训练时间或计算成本方面是否存在显著差异？

主要发现

• 多层感知机神经网络在测试集上实现了96.8%的最高识别准确率。
• SVM表现出较强性能，准确率达到95.2%。
• KNN实现了中等准确率92.5%，低于SVM和神经网络。
• 神经网络模型在不同类别间表现出最一致的性能，精确率和召回率的方差最小。
• SVM在准确率和F1分数方面显著优于KNN，表明其在该数据集上具有更好的泛化能力。
• 本研究证实，在相同实验条件下，神经网络在手写数字识别任务中比传统分类器更有效。