[논문 리뷰] An adaptive nearest neighbor rule for classification

Akshay Balsubramani, Sanjoy Dasgupta외 2명|arXiv (Cornell University)|2019. 05. 29.

Machine Learning and Algorithms참고 문헌 17인용 수 10

한 줄 요약

이 논문은 각 쿼리 포인트에 대해 국소적 레이블 신뢰도를 기반으로 이웃 수 $k$를 동적으로 선택하는 적응형 k-최근접 이웃(AKNN) 분류기를 제안한다. 이는 신뢰도 임계값 $\Delta(n,k) \sim \sqrt{\log n / k}$를 사용한다. 이 방법은 최적의 고정 $k$를 가진 $k$-NN과 비교하여 일반화 오차율을 유사하거나 더 낮게 유지하며, 전통적인 리프시츠 조건보다 더 약한 국소적 '우월도' 측도에 의해 결정되는 수렴 속도를 보인다.

ABSTRACT

We introduce a variant of the $k$-nearest neighbor classifier in which $k$ is chosen adaptively for each query, rather than supplied as a parameter. The choice of $k$ depends on properties of each neighborhood, and therefore may significantly vary between different points. (For example, the algorithm will use larger $k$ for predicting the labels of points in noisy regions.) We provide theory and experiments that demonstrate that the algorithm performs comparably to, and sometimes better than, $k$-NN with an optimal choice of $k$. In particular, we derive bounds on the convergence rates of our classifier that depend on a local quantity we call the `advantage' which is significantly weaker than the Lipschitz conditions used in previous convergence rate proofs. These generalization bounds hinge on a variant of the seminal Uniform Convergence Theorem due to Vapnik and Chervonenkis; this variant concerns conditional probabilities and may be of independent interest.

연구 동기 및 목표

• 고정된 $k$를 사용하는 대신 국소 데이터 특성에 맞게 $k$를 적응적으로 조정하는 최근접 이웃 분류기를 개발하는 것.
• 높은 노이즈 또는 낮은 레이블 신뢰도 영역에서 $k$를 적응적으로 증가시켜 일반화 성능을 향상시키는 것.
• 전역적인 부드러움 가정 대신 국소적 분류 난이도 측도인 '우월도'에 따라 수렴 속도에 의존하는 이론적 수렴 속도를 확립하는 것.
• 적응 규칙이 기존 $k$-NN 이론보다 더 약한 조건에서도 보편적 일致성을 확보하고 경쟁 가능한 수렴 속도를 달성할 수 있음을 보여주는 것.
• 낮은 신뢰도일 경우 기각을 允허하는 실용적인 알고리즘을 제공하여 정확도와 커버리지 사이의 균형을 조절할 수 있도록 가변적 신뢰도 파rameter $A$를 제공하는 것.

제안 방법

• 알고리즘은 평균 레이블이 절대값에서 신뢰도 임계값 $\Delta(n,k) = \sqrt{\log n / k}$를 초과하는 최소 $k$를 선택한다.
• 이진 분류의 경우, 평균 레이블이 $+\Delta(n,k)$를 초과하면 예측을 $+1$로, $-\Delta(n,k)$ 이하이면 $-1$로, 그 외의 경우는 '?'로 한다.
• 다중 클래스 설정에서는, 어떤 클래스 $y$에 대해서라도 경험적 레이블 빈도가 $1/|\mathcal{Y}| + \Delta(n,k)$를 초과하는 최소 $k$를 찾는 방식으로 확장된다.
• 신뢰도 파rameter $A$는 $\Delta = A / \sqrt{k}$를 통해 도입되며, 정확도와 커버리지(기각) 사이의 트레이드오프를 제어한다.
• 정지 규칙은 경험적 레이블 평균에 대한 통계적 신뢰구간에 기반하며, 충분한 데이터가 확보되었을 경우 높은 확률로 정확한 결과를 보장한다.
• 조건부 확률에 대한 바파닉-체르보넨크스 균일 수렴 정리의 변형을 사용하여, 더 날카운 일반화 경계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 쿼리 포인트마다 $k$를 적응적으로 조정함으로써, 고정된 $k$를 사용하는 $k$-NN과 비교해 더 나은 성능 또는 동등한 성능을 달성할 수 있는가?
• RQ2 이러한 적응 규칙에 대해 수렴 속도와 일치성 측면에서 어떤 이론적 보장을 제공할 수 있는가?
• RQ3 노이즈 수준과 데이터 분포가 다양할 경우, 적응 규칙의 성능은 최적의 고정 $k$를 사용한 $k$-NN과 어떻게 비교되는가?
• RQ4 국소적 난이도 측도인 '우월도'가 수렴 속도 분석에서 전통적인 리프시츠 연속성 같은 전역 부드러움 가정을 대체할 수 있는가?
• RQ5 신뢰도 파rameter $A$의 선택이 실생활에서 정확도와 커버리지(기각) 사이의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 적응형 k-NN 규칙은 $k$-NN와 동일한 조건 하에서 渐近 일치성을 확보하며, 수렴 속도는 리프시츠 조건보다 더 약한 국소적 '우월도' 측도에 따라 결정된다.
• 알고리즘은 최적의 고정 $k$를 사용한 $k$-NN와 유사하거나, 특히 높은 노이즈 영역에서 더 큰 $k$가 필요한 경우에 더 나은 성능을 보인다.
• notMNIST 데이터셋에서 $A=1$을 사용한 AKNN는 88%의 정확도와 100% 커버리지를 달성했으며, 최고의 $k$-NN 성능($k=10$, 약 88% 정확도)을 뛰어넘었다.
• AKNN가 선택하는 이웃 수는 예측 신뢰도의 국소적 대체 측도이다: 낮은 레이블 신뢰도 또는 높은 노이즈 영역에서는 더 큰 $k$ 값이 선택된다.
• 신뢰도 파rameter $A$를 증가시킬수록 정확도는 증가하지만 커버리지는 감소한다. 이는 알고리즘이 불확실한 예측에 더 자주 기각을 내리기 때문이다.
• MNIST에서 시뮬레이션된 레이블 노이즈 실험에서, AKNN는 고정 $k$를 사용한 $k$-NN보다 뛰어난 성능을 보였으며, 노이즈 수준이 높을 경우 $k$가 너무 작은 경우 $k$-NN의 성능이 크게 떨어지는 것을 확인했다.