[논문 리뷰] On the Resistance of Nearest Neighbor to Random Noisy Labels

Wei Gao, Binbin Yang외 1명|arXiv (Cornell University)|2016. 07. 26.

Machine Learning and Data Classification참고 문헌 66인용 수 15

한 줄 요약

이 논문은 랜덤한 노이즈가 있는 레이블에 대해 $k$-NN의 내재된 강건성을 활용하여 가장 심하게 잘못 이끌린 예시들만 수정하는 Robust $k$-Nearest Neighbor (R$k$NN)를 제안한다. 이론적으로는 대칭 노이즈 하에서 $k$-NN가 일致함을 증명하고, 비대칭 노이즈 하에서도 강건함을 보이며, 실제 데이터셋에서의 실험 결과는 노이즈 추정이 정확하지 않더라도 강력한 성능을 보임을 보여준다.

ABSTRACT

Nearest neighbor has always been one of the most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Previous empirical studies partly shows that nearest neighbor is resistant to noise, yet there is a lack of deep analysis. This work presents the finite-sample and distribution-dependent bounds on the consistency of nearest neighbor in the random noise setting. The theoretical results show that, for asymmetric noises, k-nearest neighbor is robust enough to classify most data correctly, except for a handful of examples, whose labels are totally misled by random noises. For symmetric noises, however, k-nearest neighbor achieves the same consistent rate as that of noise-free setting, which verifies the resistance of k-nearest neighbor to random noisy labels. Motivated by the theoretical analysis, we propose the Robust k-Nearest Neighbor (RkNN) approach to deal with noisy labels. The basic idea is to make unilateral corrections to examples, whose labels are totally misled by random noises, and classify the others directly by utilizing the robustness of k-nearest neighbor. We verify the effectiveness of the proposed algorithm both theoretically and empirically.

연구 동기 및 목표

• 랜덤 레이블 노이즈 하에서 $k$-NN의 일치성에 대해 이론적으로 분석하는 것, 특히 유한 표본 및 분포 의존 설정에서의 분석.
• 왜 $k$-NN가 이론적 근거가 제한됨에도 불구하고 경험적으로 레이블 노이즈에 강건한지 이해하는 것.
• 이러한 강건성을 활용하면서도 가장 파손된 예시들만 수정하는 실용적인 알고리즘을 개발하는 것.
• 다양한 노이즈 수준을 가진 시뮬레이션 및 실세계 데이터셋에서 이론적 결과를 경험적으로 검증하는 것.

제안 방법

• 노이즈에 의해 완전히 잘못 이끌린 예시들만 식별하고 수정하는 R$k$NN을 제안한다.
• $k'$-근접 이웃을 사용하여 노이즈 비율 $\hat{\tau}_+$ 및 $\hat{\tau}_-$를 추정하고, 수정 결정에 활용한다.
• 레이블이 잘못 지정된 것에 대해 높은 신뢰도를 가진 인스턴스들에 대해서만 단방향 레이블 수정을 적용하여, 나머지 예들에 대해서는 $k$-NN의 강건성을 유지한다.
• 이론적 일치성을 보장하기 위해 노이즈 비율 추정 및 파rameter 선택을 위한 베이지안 프레임워크를 활용한다.
• 모수적 가정에 의존하지 않고, 근접 이웃 추정을 통합하여 잘못된 레이블을 탐지하고 수정한다.
• 다양한 데이터셋에서 기존 방법 대비 성능 향상을 통계적으로 검증하기 위해 베이지안 t-검정을 활용한다.

실험 결과

연구 질문

• RQ1 랜덤 레이블 노이즈 하에서 $k$-NN의 일치성은 어떻게 되며, 특히 유한 표본 및 분포 의존 설정에서 어떻게 되는가?
• RQ2 $k$-NN가 랜덤 레이블 노이즈에 강건한 이유는 무엇이며, 이러한 강건성이 언제 깨지는가?
• RQ3 가장 심하게 손상된 예시들만 수정하면서도 $k$-NN의 강건성을 활용할 수 있는 실용적 알고리즘을 설계할 수 있는가?
• RQ4 $k'$-NN를 통한 노이즈 추정은 실세계 데이터셋에서 얼마나 정확한가? R$k$NN은 파rameter 선택에 얼마나 민감한가?
• RQ5 다양한 노이즈 설정 하에서 R$k$NN은 기존 방법들보다 분류 정확도에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 대칭 레이블 노이즈 하에서는 $k$-NN가 노이즈가 없는 설정과 동일한 일치율을 달성하여, 랜덤 노이즈에 대한 저항력을 확인한다.
• 비대칭 노이즈 하에서는 $k$-NN가 여전히 일치하며, 대부분의 예시들을 올바르게 분류하지만, 일부 예시들만 완전히 잘못 이끌린 경우에 한해 오류가 발생한다.
• 이론적 분석을 통해 1-NN는 대칭 노이즈 하에서도 일치하지 않음을 입증하며, $k > 1$의 중요성을 강조한다.
• R$k$NN은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여, 베이지안 t-검정에서 64번의 비교 중 53번에서 승리한다.
• $k'$-NN를 통한 노이즈 추정은 정확하지 않지만 R$k$NN이 높은 성능을 유지할 수 있도록 충분히 강건함을 보여주며, 추정 오차에 대한 강건성을 입증한다.
• 경험적 결과는 R$k$NN이 표본 크기가 증가함에 따라 안정적이고 수렴함을 보이며, $k \geq 10$이면 $k$ 값에 대해 민감하지 않음을 보여준다.