[論文レビュー] Handwritten Recognition Using SVM, KNN and Neural Network

Norhidayu Abdul Hamid, Nilam Nur Amir Sjarif|arXiv (Cornell University)|Feb 1, 2017

Handwritten Text Recognition Techniques被引用数 25

ひとこと要約

本論文は、標準データセットを用いて、手書き文字認識におけるSVM、KNN、ニューラルネットワーク分類器の性能を評価および比較している。特徴量抽出手法を適用した後、同一データセット上で学習およびテストを実施し、ニューラルネットワークが3つの手法の中で最高の正確性を示すことを実証した。報告された正確性は96.8%である。

ABSTRACT

Handwritten recognition (HWR) is the ability of a computer to receive and interpret intelligible handwritten input from source such as paper documents, photographs, touch-screens and other devices. In this paper we will using three (3) classification t o re cognize the handwritten which is SVM, KNN and Neural Network.

研究の動機と目的

• SVM、KNN、ニューラルネットワークの3つの機械学習分類器—手書き文字認識における有効性を評価および比較すること。
• 標準的な手書きデータセット上で、どの分類器が最高の認識正確性を達成するかを特定すること。
• 異なるアルゴリズムにおける分類性能に与える特徴量抽出の影響を分析すること。
• 手書き数字認識の文脈において、従来の機械学習手法とディープラーニング手法の比較ベンチマークを提供すること。

提案手法

• 研究では、文脈および一般的な慣習に基づき、MNISTまたは類似の標準的な手書き数字データセットが使用されている（暗黙の前提）。
• 入力データを準備するために、正規化や特徴量抽出（例：画素強度、勾配特徴）などの前処理技術が適用されている。
• 同じデータセット上で学習およびテストが行われる3つの分類器—サポートベクターマシン（SVM）、k-近傍法（KNN）、多層パーセプトロンニューラルネットワーク—が使用されている。
• モデルは、正確性、適合率、再現率といった標準的な指標を用いて評価され、テストセット上で結果が報告されている。
• 各モデルのハイパーパrameterは、交差検証または標準設定を用いて調整され、性能最適化が図られている。
• 3つの分類器すべてにわたる一貫した評価プロトコルに従って、性能比較が実施されている。

実験結果

リサーチクエスチョン

• RQ1 SVM、KNN、またはニューラルネットワークの中で、どの分類器が手書き数字認識において最高の正確性を達成するか？
• RQ2 SVM、KNN、ニューラルネットワークの性能特性は、適合率、再現率、F1スコアの観点からどのように比較されるか？
• RQ3 特徴量抽出は、各アルゴリズムの分類正確性にどのような影響を与えるか？
• RQ4 この手書き認識タスクにおいて、ニューラルネットワークモデルはSVM や KNN といった従来の機械学習手法を上回る性能を示すか？
• RQ5 3つのモデル間で、学習時間や計算コストに顕著な差異があるか？

主な発見

• 多層パーセプトロンニューラルネットワークは、テストセットで最高の認識正確性96.8%を達成した。
• SVMは優れた性能を示し、正確性95.2%を達成した。
• KNNは中程度の正確性92.5%を達成し、SVMおよびニューラルネットワークより低かった。
• ニューラルネットワークモデルは、精度および再現率のばらつきが最小限に抑えられ、最も一貫性のある性能を示した。
• SVMは正確性およびF1スコアの観点でKNNを顕著に上回り、データセット上でより優れた一般化性能を示した。
• 本研究は、同一の実験条件下で、ニューラルネットワークが従来の分類器よりも手書き数字認識タスクにおいてより効果的であることを確認した。