[논문 리뷰] Minimax Rate Optimal Adaptive Nearest Neighbor Classification and Regression

Puning Zhao, Lifeng Lai|arXiv (Cornell University)|2019. 10. 22.

Face and Expression Recognition참고 문헌 18인용 수 8

한 줄 요약

이 논문은 분류 및 회귀에서 최소최대 최적 수렴 속도를 달성하기 위해 각 테스트 샘플에 대해 다른 k 값을 선택하는 적응형 kNN 방법을 제안한다. 기하학적 특성 밀도에 따라 k를 동적으로 조정함으로써 기저 분포에 대한 완전한 지식이 없더라도, 표준 kNN과 최소최대 하한 사이의 격차를 좁힌다. 특히 유계가 아니거나 밀도가 낮은 영역에서 효과적이다.

ABSTRACT

k Nearest Neighbor (kNN) method is a simple and popular statistical method for classification and regression. For both classification and regression problems, existing works have shown that, if the distribution of the feature vector has bounded support and the probability density function is bounded away from zero in its support, the convergence rate of the standard kNN method, in which k is the same for all test samples, is minimax optimal. On the contrary, if the distribution has unbounded support, we show that there is a gap between the convergence rate achieved by the standard kNN method and the minimax bound. To close this gap, we propose an adaptive kNN method, in which different k is selected for different samples. Our selection rule does not require precise knowledge of the underlying distribution of features. The new proposed method significantly outperforms the standard one. We characterize the convergence rate of the proposed adaptive method, and show that it matches the minimax lower bound.

연구 동기 및 목표

• 특성 분포가 무한한 지지역간 또는 밀도가 0에 가까운 경우 표준 kNN의 성능 격차를 해결한다.
• 특성 밀도가 낮은 영역에서 고정된 k 값을 사용하는 kNN의 비최적성 문제를 해결한다. 이 경우 kNN 거리가 커지고 예측 정확도가 떨어지기 때문이다.
• 기본 특성 분포에 대한 정밀한 지식이 필요 없이 최소최대 최적 수렴 속도를 달성하는 적응형 kNN 방법을 개발한다.
• 이론적 분석을 통해 제안된 방법이 분류 및 회귀 문제 모두에서 최소최대 하한과 일치함을 보여준다.
• 현실적으로 적용 가능하고 이론적으로 타당한 방법을 제안하여 국소 데이터 밀도에 따라 k를 적응적으로 조정함으로써 도전적인 특성 분포에서 일반화 성능을 향상시킨다.

제안 방법

• 각 테스트 포인트에 대해 국소 데이터 밀도에 따라 다른 k 값을 선택하는 적응형 kNN 분류기 및 회귀기 제안.
• 국소 이웃 크기와 추정된 밀도의 함수에 비례하는 방식으로 k를 설정하는 데이터 기반 규칙을 사용하여 최적의 편향-분산 트레이드오프를 확보.
• 순서 통계와 농도 부등식(예: Hoeffding의 부등식)을 활용하여 이웃 수 조건부 예측 오차의 기대값을 경계.
• 두 경우로 나누어 분석: 하나는 국소 볼 내 이웃 수가 충분히 많아 좋은 추정이 가능할 경우, 다른 하나는 희귀한 경우.
• 순서 통계에서 유도된 베타 분포 성질을 활용하여 k번째 최근접 이웃 볼의 반지름에 대한 모멘트 경계를 적용.
• 모든 조건에서 유효한 통합 위험 경계를 유도하며, 이는 $ C_M h^{-2 heta}( extbf{x}) N^{-2 heta} $ 형태로 스케일링되며, $ \theta = \min\{2(1-q)/d, q/2\} $ 이다. 이는 최소최대 속도와 일치한다.

실험 결과

연구 질문

• RQ1 특성 분포가 무한한 지지역간 또는 밀도가 낮을 경우, 적응형 kNN 방법이 표준 kNN과 최소최대 하한 사이의 격차를 메울 수 있는가?
• RQ2 국소 이웃 크기와 밀도 추정에 의존하는 데이터 기반 k 선택 규칙이 최소최대 최적 수렴 속도를 달성하는가?
• RQ3 제안된 적응형 kNN의 이론적 수렴 속도는 무엇이며, 일반적인 정규성 조건 하에서 최소최대 하한과 일치하는가?
• RQ4 표준 kNN이 큰 kNN 거리로 인해 실패하는 밀도가 낮은 영역에서 이 방법은 어떻게 성능을 내는가?
• RQ5 기본 밀도 함수를 정확히 알 필요 없이, 라벨이 부여된 및 부라벨이 부여된 훈련 샘플만으로도 이 방법을 구현할 수 있는가?

주요 결과

• 제안된 적응형 kNN는 분류 및 회귀 모두에서 최소최대 최적 수렴 속도를 달성하며, 이론적 하한과 정확히 일치한다.
• 무한한 지지역간 또는 밀도가 낮은 영역에서는 표준 kNN가 큰 kNN 거리로 인해 수렴 속도가 느려지지만, 적응형 방법은 이 격차를 제거한다.
• 이 방법의 위험 경계는 $ \mathbb{E}[(\hat{\eta}(\mathbf{x}) - \eta(\mathbf{x}))^2] \leq C_M h^{-2\lambda}(\mathbf{x}) N^{-2\lambda} $ 형태로 스케일링되며, $ \lambda = \min\{2(1-q)/d, q/2\} $ 이다. 이는 최소최대 속도와 일치한다.
• 적응형 kNN는 진정한 밀도 함수를 알 필요 없이, 훈련 샘플과 데이터 기반 k 선택 규칙에만 의존한다.
• 이론적 분석을 통해 특성 밀도가 0에서 멀리 떨어져 있지 않은 경우에도 최소최대 최적성이 유지됨을 확인하였다.
• 특히 고차원 또는 꼬리가 두꺼운 특성 분포에서 표준 kNN보다 수렴 속도 측면에서 뚜렷한 성능 향상을 보였다.