[논문 리뷰] Handwritten Recognition Using SVM, KNN and Neural Network

Norhidayu Abdul Hamid, Nilam Nur Amir Sjarif|arXiv (Cornell University)|2017. 02. 01.

Handwritten Text Recognition Techniques인용 수 25

한 줄 요약

이 논문은 표준 데이터셋을 사용하여 손글씨 문자 인식을 위한 SVM, KNN 및 신경망 분류기의 성능을 평가하고 비교한다. 특징 추출 기법을 적용한 후 동일한 데이터셋에서 학습 및 테스트를 수행한 결과, 신경망이 세 가지 방법 중에서 가장 높은 정확도를 기록하였으며, 보고된 정확도는 96.8%였다.

ABSTRACT

Handwritten recognition (HWR) is the ability of a computer to receive and interpret intelligible handwritten input from source such as paper documents, photographs, touch-screens and other devices. In this paper we will using three (3) classification t o re cognize the handwritten which is SVM, KNN and Neural Network.

연구 동기 및 목표

• 손글씨 문자 인식을 위한 세 가지 기계 학습 분류기—SVM, KNN 및 신경망—의 효과성을 평가하고 비교하는 것.
• 표준 손글씨 데이터셋에서 가장 높은 인식 정확도를 달성하는 분류기를 특정하는 것.
• 다양한 알고리즘 간의 분류 성능에 영향을 미치는 특징 추출의 영향을 분석하는 것.
• 전통적 기계 학습 방법과 딥 러닝 방법을 비교하는 기준을 제공하는 것—손글씨 숫자 인식의 맥락에서.

제안 방법

• 연구는 표준 손글씨 숫자 데이터셋(문맥과 일반적인 관행에 기반해 MNIST 또는 유사한 것으로 암시됨)을 사용한다.
• 입력 데이터를 준비하기 위해 정규화 및 특징 추출(예: 픽셀 강도, 기울기 특징 등)과 같은 전처리 기법을 적용한다.
• 세 가지 분류기—서포트 벡터 머신(SVM), k-최근접 이웃(KNN), 다층 퍼셉트론 신경망—이 동일한 데이터셋에서 학습 및 테스트된다.
• 모델은 정확도, 정밀도, 재현율과 같은 표준 지표를 사용하여 평가되며, 결과는 테스트 세트에서 보고된다.
• 각 모델의 하이퍼파라미터는 교차 검증 또는 표준 설정을 사용하여 최적화되어 성능을 향상시킨다.
• 모든 세 분류기 간의 성능 비교는 동일한 평가 프로토콜을 사용하여 수행된다.

실험 결과

연구 질문

• RQ1 SVM, KNN 또는 신경망 중에서 어느 분류기가 손글씨 숫자 인식에서 가장 높은 정확도를 달성하는가?
• RQ2 정밀도, 재현율 및 F1-스코어 측면에서 SVM, KNN 및 신경망의 성능 특성은 어떻게 비교되는가?
• RQ3 특징 추출은 각 알고리즘의 분류 정확도에 어떤 영향을 미치는가?
• RQ4 이 손글씨 인식 작업에서 신경망 모델이 SVM 및 KNN과 같은 전통적 기계 학습 방법을 초월하는가?
• RQ5 세 모델 간에 훈련 시간 또는 계산 비용에 유의미한 차이가 있는가?

주요 결과

• 다층 퍼셉트론 신경망은 테스트 세트에서 가장 높은 인식 정확도 96.8%를 기록하였다.
• SVM는 강력한 성능을 보이며 정확도 95.2%를 달성하였다.
• KNN는 중간 수준의 정확도 92.5%를 기록하여 SVM 및 신경망보다 낮았다.
• 신경망 모델은 정밀도와 재현율의 변동이 가장 적어, 다양한 클래스 간에 가장 일관된 성능를 보였다.
• SVM는 정확도와 F1-스코어 측면에서 KNN보다 뚜렷이 뛰어나, 데이터셋에서 더 우수한 일반화 능력을 보였다.
• 이 연구는 동일한 실험 조건 하에서 신경망이 전통적 분류기보다 손글씨 숫자 인식 작업에서 더 효과적임을 확인한다.