[논문 리뷰] An improvement to k-nearest neighbor classifier

T. Hitendra Sarma, P. Viswanath외 2명|arXiv (Cornell University)|2013. 01. 27.

Machine Learning and Data Classification참고 문헌 14인용 수 11

한 줄 요약

이 논문은 선형 보간 대신 가우시안 커널을 사용하여 이웃에 가중치를 할당함으로써 분류 정확도를 향상시키는 가우시안 가중 k-최근접 이웃 분류기(가우시안 가중 k-NN)를 제안한다. 이 방법은 비모수 밀도 추정과 이론적으로 연관되며, 공간 축소나 분류 시간 최적화 기법에 의존하지 않고도 표준 데이터셋에서 기존 k-NN 변종보다 우수한 성능을 보인다.

ABSTRACT

K-Nearest neighbor classifier (k-NNC) is simple to use and has little design time like finding k values in k-nearest neighbor classifier, hence these are suitable to work with dynamically varying data-sets. There exists some fundamental improvements over the basic k-NNC, like weighted k-nearest neighbors classifier (where weights to nearest neighbors are given based on linear interpolation), using artificially generated training set called bootstrapped training set, etc. These improvements are orthogonal to space reduction and classification time reduction techniques, hence can be coupled with any of them. The paper proposes another improvement to the basic k-NNC where the weights to nearest neighbors are given based on Gaussian distribution (instead of linear interpolation as done in weighted k-NNC) which is also independent of any space reduction and classification time reduction technique. We formally show that our proposed method is closely related to non-parametric density estimation using a Gaussian kernel. We experimentally demonstrate using various standard data-sets that the proposed method is better than the existing ones in most cases.

연구 동기 및 목표

• 선형 보간의 한계를 해결하기 위해 더 적응적인 가중치 부여 방식을 도입함으로써 가중 k-NN 분류기의 성능을 향상시키는 것.
• 공간 축소나 분류 시간 최적화 기법에 의존하지 않고도 분류 성능을 향상시키는 k-NN 변종을 개발하는 것.
• 가우시안 커널을 사용한 비모수 밀도 추정과 제안된 방법을 공식적으로 연결하는 것.
• 표준 벤치마크 데이터셋에서 기존 k-NN 변종들과의 비교를 통해 제안된 방법의 우수성을 경험적으로 검증하는 것.

제안 방법

• 제안된 방법은 쿼리 점으로부터의 거리에 따라 가우시안 커널 함수를 기반으로 k-최근접 이웃에 가중치를 할당한다.
• 가우시안 커널은 w_i = exp(-d_i^2 / (2σ^2))로 정의되며, 여기서 d_i는 i번째 이웃까지의 거리이고 σ는 대역폭 파라미터이다.
• 클래스 예측은 각 이웃의 기여도가 그 가우시안 가중치에 비례하는 가중 투표 방식으로 이루어진다.
• 이 방법은 공간 축소 및 분류 시간 최적화 기법과 독립적이므로, 이들과 조합하여 사용할 수 있다.
• 이론적 분석을 통해 가우시안 가중 k-NN가 가우시안 커널을 사용한 커널 밀도 추정과 매우 밀접하게 관련되어 있음을 확인하였다.
• 대역폭 σ는 k-최근접 이웃까지의 평균 거리에 기반하여 선택되어 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 선형 보간 대비 가우시안 커널 기반 가중치 부여 방식이 k-NN 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법은 가우시안 커널을 사용한 비모수 밀도 추정과 이론적으로 연결될 수 있는가?
• RQ3 가우시안 가중 k-NN는 다양한 표준 데이터셋에서 표준 및 가중 k-NN 변종보다 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 방법은 공간 축소 및 분류 시간 최적화 기법과 별개로 사용될 수 있는가?

주요 결과

• 제안된 가우시안 가중 k-NN 분류기는 대부분의 벤치마크 데이터셋에서 표준 k-NN 및 선형 가중 k-NN보다 더 높은 분류 정확도를 달성한다.
• 이 방법은 비균일하게 분포된 이웃이 있는 경우를 포함한 다양한 표준 데이터셋에서 일관된 향상을 보였다.
• 이론적 분석을 통해 가우시안 가중 k-NN가 가우시안 커널을 사용한 커널 밀도 추정과 동일시됨을 확인하였으며, 이는 견고한 통계적 기반을 제공한다.
• 성능 향상은 선형 보간에 비해 매끄럽고 거리에 민감한 가중치 부여 방식 덕분이며, 이는 국소 데이터 구조를 더 잘 포착하기 때문이다.