[논문 리뷰] A Weighted Mutual k-Nearest Neighbour for Classification Mining

Joydip Dhar, Ashaya Shukla외 2명|arXiv (Cornell University)|2020. 05. 14.

Rough Sets and Fuzzy Logic참고 문헌 7인용 수 6

한 줄 요약

이 논문은 잡음과 가짜 이웃을 줄이기 위해 상호 이웃 선택과 거리 가중 투표를 통합하여 k-NN 분류 성능을 향상시키는 가중 상호 k-최근접 이웃( WMkNN) 알고리즘을 제안한다. 이상치 탐지로 데이터셋을 정제하고 확신도 측정을 통해 더 가까운 이웃에 초점을 맞추어, 특히 잡음이 많고 대규모인 데이터셋에서 분류 정확도를 향상시킨다.

ABSTRACT

kNN is a very effective Instance based learning method, and it is easy to implement. Due to heterogeneous nature of data, noises from different possible sources are also widespread in nature especially in case of large-scale databases. For noise elimination and effect of pseudo neighbours, in this paper, we propose a new learning algorithm which performs the task of anomaly detection and removal of pseudo neighbours from the dataset so as to provide comparative better results. This algorithm also tries to minimize effect of those neighbours which are distant. A concept of certainty measure is also introduced for experimental results. The advantage of using concept of mutual neighbours and distance-weighted voting is that, dataset will be refined after removal of anomaly and weightage concept compels to take into account more consideration of those neighbours, which are closer. Consequently, finally the performance of proposed algorithm is calculated.

연구 동기 및 목표

• 큰 규모의 데이터셋에서 k-NN 성능을 떨어뜨리는 잡음과 가짜 이웃 문제를 해결하기 위해.
• 상호 이웃 식별을 통해 이웃 선택 과정을 정교화하여 분류 정확도를 향상시키기 위해.
• 거리 가중 투표를 사용하여 먼 또는 관련성이 없는 이웃의 영향을 최소화하기 위해.
• 이웃 신뢰도 평가 및 모델 강건성 향상을 위한 확신도 측정을 도입하기 위해.
• 잡음이 많고 이질적인 데이터 환경에서도 더 나은 일반화 및 성능을 달성하기 위해.

제안 방법

• 알고리즘은 인스턴스 간의 상호 k-최근접 이웃을 식별하여 상호성이 없는 잠재적인 잡음 이웃을 걸러내기 위해 사용된다.
• 가까운 이웃이 분류 결정에 더 큰 기여하도록 거리 가중 투표 방식을 적용한다.
• 근접도와 상호 포함 여부를 바탕으로 각 이웃에 대해 확신도 측정을 계산하여 신뢰도를 평가한다.
• 상호성이 없거나 확신도 임계값 이하인 이웃을 제외하여 이상치 탐지를 수행한다.
• 최종 분류는 정제된, 가중된 이웃의 투표를 집계하여 결정된다.
• 실제 환경을 시뮬레이션하기 위해 잡음 주입을 포함한 표준 데이터셋을 사용하여 방법을 평가한다.

실험 결과

연구 질문

• RQ1 상호 이웃 선택은 잡음이 존재하는 환경에서 k-NN의 강건성에 어떻게 기여하는가?
• RQ2 거리 가중 투표는 먼 또는 관련성이 없는 이웃의 영향을 어느 정도 줄이는가?
• RQ3 확신도 측정은 가짜 이웃과 이상치를 효과적으로 식별하고 걸러낼 수 있는가?
• RQ4 잡음 조건 하에서 기존 k-NN과 비교해 WMkNN 방법의 분류 정확도는 어떻게 되는가?
• RQ5 상호 이웃 제거를 통한 데이터셋 정제가 전체 모델 성능에 어떤 영향을 미치는가?

주요 결과

• WMkNN 알고리즘은 상호 이웃 필터링을 통해 잡음이 많고 먼 이웃의 영향을 크게 줄였다.
• 거리 가중 투표는 더 가까운, 관련성이 높은 이웃을 우선시함으로써 분류 정확도를 향상시켰다.
• 확신도 측정은 신뢰도가 떨어지는 이웃을 효과적으로 식별하여 모델의 강건성을 향상시켰다.
• 제안된 방법은 특히 잡음이 많은 데이터셋에서 표준 k-NN보다 높은 분류 정확도를 달성했다.
• 실험 결과, 잡음 주입이 포함된 여러 벤치마크 데이터셋에서 일관된 성능 향상이 관찰되었다.
• 상호 이웃 탐지와 가중치 통합은 분류를 위한 더 정교하고 신뢰할 수 있는 이웃 집합을 만들어 냈다.