[논문 리뷰] An Oracle Property of The Nadaraya-Watson Kernel Estimator for High Dimensional Nonparametric Regression

Daniel Conn, Gang Li|arXiv (Cornell University)|2017. 11. 25.

Statistical Methods and Inference인용 수 3

한 줄 요약

이 논문은 진짜 회귀 함수가 저차원 색인 구조를 가질 때 고차원 비모수 회귀에서 Nadaraya-Watson 커널 추정량이 오라클 성질을 달성함을 입증한다. 대신에 밴드폭 행렬이 0으로 수렴하는 대신 무한대로 발산하도록 허용하고, 양의 준정부적 밴드폭 행렬 위에서 K-겹 교차검증을 사용함으로써, 추정량은 전체 차원(p)이 아닌 색인의 수(m)에 따라 수렴 속도가 결정되는 것을 보장하여 차원의 극복을 효과적으로 완화한다.

ABSTRACT

The celebrated Nadaraya-Watson kernel estimator is among the most studied method for nonparametric regression. A classical result is that its rate of convergence depends on the number of covariates and deteriorates quickly as the dimension grows, which underscores the "curse of dimensionality" and has limited its use in high dimensional settings. In this article, we show that when the true regression function is single or multi-index, the effects of the curse of dimensionality may be mitigated for the Nadaraya-Watson kernel estimator. Specifically, we prove that with $K$-fold cross-validation, the Nadaraya-Watson kernel estimator indexed by a positive semidefinite bandwidth matrix has an oracle property that its rate of convergence depends on the number of indices of the regression function rather than the number of covariates. Intuitively, this oracle property is a consequence of allowing the bandwidths to diverge to infinity as opposed to restricting them all to converge to zero at certain rates as done in previous theoretical studies. Our result provides a theoretical perspective for the use of kernel estimation in high dimensional nonparametric regression and other applications such as metric learning when a low rank structure is anticipated. Numerical illustrations are given through simulations and real data examples.

연구 동기 및 목표

• 설명 변수의 수(p)가 증가함에 따라 성능이 악화되는 비모수 회귀에서 차원의 극복 문제를 해결하기 위해.
• 진짜 회귀 함수가 저차원 색인 구조를 가질 때 Nadaraya-Watson 커널 추정량이 고차원 환경에서 빠른 수렴 속도를 유지할 수 있는지 조사하기 위해.
• 커널 회귀에서 이산 그리드가 아닌 연속 최적화를 사용하는 데 이론적 근거를 마련하기 위해.
• 회귀 함수가 단일 또는 다중 색인일 경우, 유한한 범위 내의 양의 준정부적 밴드폭 행렬 위에서 K-겹 교차검증이 최적의 수렴 속도를 도출함을 보여주기 위해.

제안 방법

• 밴드폭 행렬 H를 양의 준정부적으로 재정의하여, 회귀 함수의 저랭크 구조를 허용하는 Nadaraya-Watson 추정량을 재구성한다.
• p×p 양의 준정부적 행렬의 유한한 부분집합에서 K-겹 교차검증을 통해 최적의 밴드폭 행렬 H를 선택한다.
• Dudoit와 van der Laan(2005) 및 Györfi 등(2006)의 확장된 오라클 부등식을 적용하여 교차검증 추정량의 예측 위험을 경계한다.
• 밴드폭 행렬이 무한대로 발산할 수 있음을 이용하여, 추정량을 색인 공간에서의 저차원 회귀로 연결함으로써 수렴 속도를 유도한다.
• 브라켓팅 엔트로피와 리프시츠 연속성의 논증을 사용하여 매개변수 공간의 복잡성을 통제하고 균일 수렴을 보장한다.
• 커널 밴드폭을 H^{1/2}(X_i - x) 방식으로 적용하는 재매개변수화를 사용하여, H가 랭크 결함이 있을 경우 저차원 구조를 효과적으로 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 진짜 회귀 함수가 단일 또는 다중 색인일 경우 고차원 비모수 회귀에서 Nadaraya-Watson 커널 추정량이 오라클 성질을 달성할 수 있는가?
• RQ2 밴드폭 행렬을 0으로 수렴시키는 대신 무한대로 발산시키는 것이 고차원 환경에서 수렴 속도를 향상시키는가?
• RQ3 유한한 범위 내의 양의 준정부적 밴드폭 행렬 위에서 K-겹 교차검증이 최적의 수렴 속도를 도출할 수 있는가?
• RQ4 진짜 회귀 함수가 p개의 설명 변수가 아닌 오직 m개의 색인에 의존할 경우, 교차검증된 Nadaraya-Watson 추정량의 수렴 속도는 얼마인가?
• RQ5 커널 회귀에서 이산 그리드 검색 대신 기울기 기반 최적화를 사용하는 데 이론적 근거가 있는가?

주요 결과

• Nadaraya-Watson 커널 추정량은 오라클 성질을 달성한다: 수렴 속도는 전체 차원(p)이 아닌 색인의 수(m)에 따라 결정되며, 이는 진짜 회귀 함수가 단일 또는 다중 색인일 경우에 한해 성립한다.
• K-겹 교차검증 하에서 수렴 속도는 O(n^{-2/(m+2)})이며, m ≪ p일 경우 고전적인 O(n^{-2/(p+2)}) 속도보다 훨씬 빠르다.
• 밴드폭 행렬 H는 0으로 수렴하지 않고 무한대로 발산하도록 허용되며, 이는 오라클 성질을 달성하고 차원의 극복을 피하는 데 핵심적이다.
• 교차검증 기준은 양의 준정부적 행렬의 유한한 부분집합에서 최소화되며, 이는 기울기 강하와 같은 연속 최적화 기법에 대한 이론적 근거를 제공한다.
• 추정량의 위험은 O(log(n)^{m/(m+2)} n^{-2/(m+2)}) 속도로 감소하는 항으로 경계되며, 이는 미약한 정규성 조건 하에서 오라클 성질을 확인한다.
• 이 결과는 결과 변수가 거의 확실히 유계이고 커널 함수가 리프시츠 연속이며, 브라켓팅 엔트로피 조건이 충족될 경우에 성립한다.