[논문 리뷰] Distance and Similarity Measures Effect on the Performance of K-Nearest Neighbor Classifier -- A Review

V. B. Surya Prasath, Haneen Arafat Abu Alfeilat외 5명|arXiv (Cornell University)|2017. 08. 14.

Machine Learning and Data Classification참고 문헌 72인용 수 97

한 줄 요약

이 리뷰는 실제 세계의 많은 데이터셋에서 노이즈를 포함하여 KNN에 대해 최대 54개까지의 거리/유사도 측정값을 대규모로 평가하여 어떤 메트릭이 가장 높은 정확도와 강건성을 제공합니다.

ABSTRACT

The K-nearest neighbor (KNN) classifier is one of the simplest and most common classifiers, yet its performance competes with the most complex classifiers in the literature. The core of this classifier depends mainly on measuring the distance or similarity between the tested examples and the training examples. This raises a major question about which distance measures to be used for the KNN classifier among a large number of distance and similarity measures available? This review attempts to answer this question through evaluating the performance (measured by accuracy, precision and recall) of the KNN using a large number of distance measures, tested on a number of real-world datasets, with and without adding different levels of noise. The experimental results show that the performance of KNN classifier depends significantly on the distance used, and the results showed large gaps between the performances of different distances. We found that a recently proposed non-convex distance performed the best when applied on most datasets comparing to the other tested distances. In addition, the performance of the KNN with this top performing distance degraded only about $20\%$ while the noise level reaches $90\%$, this is true for most of the distances used as well. This means that the KNN classifier using any of the top $10$ distances tolerate noise to a certain degree. Moreover, the results show that some distances are less affected by the added noise comparing to other distances.

연구 동기 및 목표

• 거리/유사도 측정의 선택이 실세계 데이터셋에서 KNN 분류 정확도, 정밀도, 재현율에 어떤 영향을 미치는가를 평가합니다.
• 여덟 가지 계열과 54개 메트릭에 걸친 대규모 거리 측정치를 비교하여 최상위 수행자를 식별합니다.
• 노이즈 증가에 따른 성능 저하를 확인하여 KNN의 노이즈에 대한 강건성을 평가합니다.
• 노이즈에 덜 민감하고 KNN 분류에 더 강건한 거리 메트릭을 식별합니다.

제안 방법

• 54개의 거리/유사도 측정치를 여덟 개의 주요 계열로 분류 및 정리합니다.
• 다양한 노이즈 수준을 가진 실제 데이터셋 대집합에서 KNN의 성능(정확도, 정밀도, 재현율)을 평가합니다.
• 노이즈를 최대 90%까지 추가하여 성능 변화를 관찰하며 강건성을 분석합니다.
• 최고 성능의 거리들을 식별하고 이들의 노이즈 내성를 비교합니다.
• 데이터셋 간 결과를 요약하고 실무에의 시사점을 논의합니다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 KNN 정확도(및 관련 지표)를 극대화하는 최적의 거리 메트릭은 무엇인가요?
• RQ2 데이터에 노이즈가 있을 때도 최상의 성능을 유지하는 거리는 어떤 것인가요?
• RQ3 KNN 분류에서 노이즈에 가장 강건한 거리 측정은 어떤 것들인가요?

주요 결과

• KNN의 성능은 사용되는 거리 메트릭에 크게 좌우되며, 거리 간 차이가 큽니다.
• 최근에 제안된 비볼록 거리 중 다수의 데이터셋에서 최상의 결과를 보입니다.
• 노이즈가 90%에 도달하면 최상위 거리의 성능이 약 20% 하락하여 상당한 강건성을 보임을 시사합니다.
• 상위 10개의 거리 중 다수는 어느 정도의 노이즈를 허용합니다.
• 일부 거리들은 추가된 노이즈에 대해 더 큰 저항성을 보여 메트릭 간 강건성의 차이를 강조합니다.
• Hassanat distance가 여러 비교에서 강력한 수행자로 강조됩니다.