[논문 리뷰] K-Nearest Neighbour and Support Vector Machine Hybrid Classification

Abdul Mueed Hafiz|arXiv (Cornell University)|2020. 06. 28.

Face and Expression Recognition참고 문헌 27인용 수 4

한 줄 요약

이 논문은 복잡한 비선형으로 분리 가능한 데이터를 다루는 데에 있어 단독 K-NN와 SVM의 한계를 보완하기 위해 K-NN와 SVM을 융합한 하이브리드 분류 방법을 제안한다. 이 방법은 테스트 샘플이 거리 기반의 접근성 임계값 이내에 있을 경우에만 K-NN를 적용하고, 나머지 샘플은 각 클래스별로 가장 가까운 훈련 패턴들로 훈련된 SVM을 사용한다. 이 접근법은 USPS, MNIST, 아랍 숫자 데이터셋에서 최신 기술보다 뛰어난 성능을 기록한다.

ABSTRACT

In this paper, a novel K-Nearest Neighbour and Support Vector Machine hybrid classification technique has been proposed that is simple and robust. It is based on the concept of discriminative nearest neighbourhood classification. The technique consists of using K-Nearest Neighbour Classification for test samples satisfying a proximity condition. The patterns which do not pass the proximity condition are separated. This is followed by sifting the training set for a fixed number of patterns for every class which are closest to each separated test pattern respectively, based on the Euclidean distance metric. Subsequently, for every separated test sample, a Support Vector Machine is trained on the sifted training set patterns associated with it, and classification for the test sample is done. The proposed technique has been compared to the state of art in this research area. Three datasets viz. the United States Postal Service (USPS) Handwritten Digit Dataset, MNIST Dataset, and an Arabic numeral dataset, the Modified Arabic Digits Database, MADB, have been used to evaluate the performance of the algorithm. The algorithm generally outperforms the other algorithms with which it has been compared.

연구 동기 및 목표

• 비선형으로 분리 가능한 복잡한 데이터를 다루는 데에 있어 단독 K-NN와 SVM의 한계를 보완하기 위해 그들의 강점을 융합하는 것.
• 모호하거나 먼 테스트 샘플들에 대해서만 SVM를 선택적으로 적용하여 계산 비용을 줄이고 일반화 성능을 향상시키는 것.
• 다양한 수기 숫자 데이터셋에서 높은 정확도를 유지하는 간단하고 강건한 분류 프레임워크를 개발하는 것.
• 기본 및 하이브리드 분류 기법들을 기준으로 표준 벤치마크 데이터셋에서 승리하는 것.

제안 방법

• 테스트 샘플은 먼저 훈련 데이터와의 거리 기반으로 정해진 접근성 조건을 만족할 경우에만 K-NN로 분류된다.
• 접근성 조건을 통과하지 못한 샘플들은 별도로 분리되어 추가 처리를 위해 대기한다.
• 각 분리된 테스트 샘플에 대해 유클리드 거리 측정법을 사용하여 각 클래스별로 고정된 수의 가장 가까운 패턴을 추출한다.
• 그런 다음, 각 분리된 테스트 샘플과 관련된 걸러진 훈련 패턴들에 대해 별도의 SVM을 훈련시킨다.
• 각 테스트 샘플의 분류 결과는 접근성 조건을 만족한 경우 K-NN 결과를, 그렇지 않은 경우 해당 SVM 결과를 기반으로 결정된다.
• 이 방법은 K-NN의 국소적 불변성과 SVM의 전역 최적화를 활용하여 결정 경계를 향상시킨다.

실험 결과

연구 질문

• RQ1 K-NN와 SVM을 융합한 하이브리드 접근법이 수기 숫자 인식 작업에서 분류 정확도를 향상시킬 수 있는가?
• RQ2 테스트 샘플에 대한 거리 기반 필터링이 하이브리드 모델의 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 걸러낸 가장 가까운 훈련 패턴들에 대해 클래스별로 SVM을 훈련시키는 것이 전체 훈련 세트를 사용하는 것보다 더 나은 일반화 성능을 이끌어내는가?
• RQ4 제안된 방법은 기준 벤치마크 데이터셋에서 최신 기술의 하이브리드 및 단독 분류기들과 비교해 어떻게 성능을 냈는가?
• RQ5 데이터셋 특성(예: 클래스 분포, 숫자 스타일)이 하이브리드 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 하이브리드 방법은 수기 숫자 인식 작업에서 USPS 데이터셋에서 최신 기술보다 뛰어난 성능을 기록한다.
• MNIST 데이터셋에서 이 방법은 기본 K-NN 및 SVM 분류기보다 더 높은 정확도를 달성하여 일반화 성능 향상을 입증한다.
• 수정된 아랍 숫자 데이터베이스(MADB)에서도 뛰어난 성능을 보이며, 다양한 숫자 스타일에 대한 강건성을 입증한다.
• 접근성 기반 필터링을 사용함으로써 SVM 훈련 인스턴스의 수가 감소하여 계산 효율성이 향상되었고, 정확도 손실 없이도 성능이 유지된다.
• 국소적 K-NN 결정과 전역적 SVM 학습의 조합은 모호하거나 먼 테스트 샘플에 대해 더 신뢰할 수 있는 분류를 가능하게 한다.