[논문 리뷰] k-NN Regression Adapts to Local Intrinsic Dimension

Samory Kpotufe|arXiv (Cornell University)|2011. 10. 19.

Statistical Methods and Inference참고 문헌 14인용 수 62

한 줄 요약

이 논문은 질문 점 주변의 국소 이중 차원에 따라 k-NN 회귀가 수렴 속도에 영향을 받는다는 것을 보여주며, 이는 질문 점 주변의 국소 이중 차원에만 의존하는 수렴 속도를 유도함으로써 이루어진다. 국소적으로 k(x)를 선택하기 위한 데이터 기반 방법을 제안하여, 내재 차원에 대한 사전 지식 없이도 거의 최소 최대 속도를 달성하며, 모든 거리 공간에서 이중 측도를 가진 경우에 최소 최대 속도가 일반적으로 성립한다는 것을 증명한다.

ABSTRACT

Many nonparametric regressors were recently shown to converge at rates that depend only on the intrinsic dimension of data. These regressors thus escape the curse of dimension when high-dimensional data has low intrinsic dimension (e.g. a manifold). We show that k-NN regression is also adaptive to intrinsic dimension. In particular our rates are local to a query x and depend only on the way masses of balls centered at x vary with radius. Furthermore, we show a simple way to choose k = k(x) locally at any x so as to nearly achieve the minimax rate at x in terms of the unknown intrinsic dimension in the vicinity of x. We also establish that the minimax rate does not depend on a particular choice of metric space or distribution, but rather that this minimax rate holds for any metric space and doubling measure.

연구 동기 및 목표

• 질문 점 주변의 국소 내재 차원에만 의존하는 수렴 속도를 달성할 수 있도록 k-NN 회귀가 가능함을 보여주는 것.
• 내재 차원에 대한 사전 지식 없이도 거의 최소 최대 속도를 달성할 수 있는 실용적이고 국소적인 k = k(x) 선택 방법을 개발하는 것.
• k-NN 회귀의 최소 최대 속도가 특정 거리 공간이나 분포의 구조에 의존하지 않고, 모든 거리 공간과 이중 측도에 대해 일반적으로 성립함을 입증하는 것.

제안 방법

• 이 방법은 이중 측도를 사용하여 질문 점 x를 중심으로 한 구의 질량이 반지름에 따라 어떻게 변화하는지를 측정함으로써 국소 차원의 개념을 정의한다.
• 지역 측도와 표본 크기를 기반으로 한 임계값을 사용하여, 이웃 거리 r_k,n(x)로 제어되는 편향과 1/k로 제어되는 분산을 균형 잡는 데이터 기반 절차를 도입하여 k(x)를 선택한다.
• 선택 규칙은 지역 구의 질량 μ(B(x,r))와 표본 크기 n, 이중 상수 C에 기반한 임계값 κ를 사용하여 추정 오차를 최소화할 수 있도록 k를 선택한다.
• 농도 부등식(레마 1을 통한)을 활용하여, 고확률적으로 k-번째로 가까운 이웃 거리 r_k,n(x)가 지역 차원과 표본 크기의 함수로 유계임을 보장한다.
• 모든 x ∈ X에 대해 균일 수렴을 보장하며, 이 수렴 속도는 알려지지 않은 지역 차원 d(x)에만 의존한다. 이는 수축하는 이웃 영역 B(x,r) 내에서 성립한다.
• 이론적 분석은 표준 회귀 오차 분해의 수정된 형태를 사용하여 편향과 분산의 경계를 조합하여, 최종 오차 경계가 O(n^{-2/(2+d)})의 주제로 로그 인자까지 포함된 형태로 스케일링됨을 도출한다.

실험 결과

연구 질문

• RQ1 k-NN 회귀는 질문 점 주변의 국소 내재 차원에만 의존하는 수렴 속도를 달성할 수 있는가, 즉 임베딩 차원이 아니라?
• RQ2 내재 차원에 대한 사전 지식 없이도 거의 최소 최대 속도를 달성할 수 있는 국소적 데이터 기반 k(x) 선택 방법이 존재하는가?
• RQ3 k-NN 회귀의 최소 최대 속도가 특정 거리 공간이나 분포의 선택에 따라 달라지거나, 모든 이중 측도에 대해 일반적으로 성립하는가?
• RQ4 이웃 거리와 표본 수와 같은 관측 가능한 양들만을 사용하여 k-NN 회귀의 편향과 분산 간의 균형을 국소적으로 어떻게 맞출 수 있는가?

주요 결과

• k-NN 회귀는 질문 점 x에 대해 Õ(n^{-2/(2+d)})의 수렴 속도를 달성하며, 이는 x의 이웃 영역 내에서의 국소 내재 차원 d에 따라 결정된다. 이는 저차원 다양체에서 차원의 고통의 고통을 효과적으로 피하는 것이다.
• 제안된 k(x) 선택 규칙은 d가 알려지지 않은 상태에서라도 모든 x ∈ X에 대해 거의 최소 최대 속도 O(n^{-2/(2+d)})를 균일하게 달성함을 보장한다.
• 모든 거리 공간과 이중 측도에 대해 최소 최대 속도 Ω(n^{-2/(2+d)})가 일반적으로 성립함을 입증하여, 회귀 문제의 어려움이 국소 측도 확장률에만 의존함을 보여준다.
• 이 방법은 국소 차원 d(x)에 따라 스케일링되는 고확률 오차 경계를 보장하며, 오차 경계는 국소 구 질량 μ(B(x,r))와 표본 크기 n에 의존한다.
• 분석 결과, 데이터의 전반적 복잡도(예: 공간을 메우는 곡선)는 k-NN 회귀의 국소 성능에 영향을 주지 않으며, k/n → 0이면 충분하다.
• 유도된 오차 경계는 O((3Cθ_{n,δ}/(nμ(B(x,r))))^{2/(2+d)}) 형태이며, 이는 알려진 최소 최대 속도에 로그 인자까지 포함된 형태로 일치하여 거의 최적임을 확인한다.