[논문 리뷰] On the Robustness of Nearest Neighbor with Noisy Data

Wei Gao, Binbin Yang외 1명|arXiv (Cornell University)|2016. 07. 26.

Machine Learning and Data Classification참고 문헌 30인용 수 1

한 줄 요약

이 논문은 랜덤 노이즈 하에서 k-최근접 이웃(k-NN)의 이론적 복원력을 분석하며, 대칭 노이즈 하에서는 일致성을 유지하고 비대칭 노이즈에 대해서는 몇몇 잘못 분류된 점을 제외하고는 저항력을 보임을 보여준다. 이를 바탕으로 k-NN의 본질적 복원력을 활용하면서도 가장 심하게 오도된 예시들만 수정하는 복원력 있는 k-최근접 이웃(RNN)을 제안하며, 노이즈가 섞인 레이블 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

Nearest neighbor has always been one of the most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Previous empirical studies partially demonstrate that nearest neighbor is resistant to noise, yet there is a lack of deep analysis. This work presents a full understanding on the robustness of nearest neighbor in the random noise setting. We provide finite-sample, distribution-dependent bounds on the consistency of nearest neighbor. The theoretical results show that, for asymmetric noises, k-nearest neighbor is robust enough to classify most data correctly, except for a handful of examples, whose labels are totally misled by random noises. For symmetric noises, however, k-nearest neighbor achieves the same consistent rate as that of noise-free setting, which verifies the robustness of $k$-nearest neighbor. Motivated by theoretical analysis, we propose the Robust k-Nearest Neighbor (RNN) approach to deal with noisy labels. The basic idea is to make unilateral corrections to examples, whose labels are totally misled by random noises, and classify the others directly by utilizing the robustness of k-nearest neighbor. Extensive experiments show the effectiveness and robustness of the proposed algorithm.

연구 동기 및 목표

• 유한 표본 및 분포 의존 설정에서 k-NN의 이론적 복원력을 이해하기 위해.
• 노이즈가 섞인 레이블 조건 하에서도 k-NN이 일치성을 유지할 수 있는 조건을 규명하며, 대칭 노이즈와 비대칭 노이즈를 구분하기 위해.
• k-NN의 복원력을 활용하면서도 가장 심하게 손상된 레이블들만 수정하는 실용적인 방법을 개발하기 위해.
• 노이즈가 섞인 데이터셋에서의 광범위한 실험을 통해 제안된 RNN 접근법을 검증하기 위해.

제안 방법

• 유한 표본 및 분포 의존적 경계를 이론적으로 유도하여, 랜덤 노이즈 하에서 k-NN의 일치성에 대한 분석을 수행한다.
• 이 방법은 대칭 노이즈와 비대칭 노이즈를 구분하며, 대칭 노이즈 하에서는 노이즈가 없는 경우와 동일한 일관성 비율을 달성함을 보여준다.
• 복원력 있는 k-최근접 이웃(RNN) 알고리즘을 제안하며, 노이즈에 의해 완전히 오도된 레이블을 갖는 예시들을 식별하고 수정한다.
• 나머지 예시들은 표준 k-NN를 그대로 사용하여 직접 분류함으로써, 노이즈에 대한 본질적 복원력을 활용한다.
• 레이블 보정은 예측의 신뢰도와 기대 레이블 패턴에서의 이탈 정도에 기반하여 단방향으로 수행된다.

실험 결과

연구 질문

• RQ1 어떤 노이즈 조건 하에서 k-NN이 유한 표본 설정에서 일致성을 유지하는가?
• RQ2 대칭 노이즈와 비대칭 랜덤 노이즈 하에서 k-NN의 성능는 어떻게 다를까?
• RQ3 가장 심하게 잘못 레이블링된 예시들만 수정하면서도 k-NN의 복원력을 유지할 수 있는 방법을 설계할 수 있는가?
• RQ4 대칭 노이즈 하에서 k-NN의 이론적 일치 비율은 노이즈가 없는 설정과 비교해 어떻게 되는가?

주요 결과

• 대칭 노이즈 하에서는 k-NN가 노이즈가 없는 설정과 동일한 일관성 있는 분류 비율을 달성함을 확인하여, 그 복원력이 입증된다.
• 비대칭 노이즈 하에서는 k-NN가 여전히 복원력이 있지만, 노이즈에 의해 완전히 오도된 일부 예시들에 대해서는 잘못 분류될 수 있다.
• 제안된 RNN 방법은 가장 심하게 손상된 레이블들만 효과적으로 식별하고 수정하여 불필요한 보정을 최소화한다.
• 실험 결과, RNN이 표준 k-NN와 다른 기준선들보다 노이즈가 섞인 데이터셋에서 뛰어난 성능을 보이며, 실용적 복원력이 확인된다.