[论文解读] An Oracle Property of The Nadaraya-Watson Kernel Estimator for High Dimensional Nonparametric Regression

Daniel Conn, Gang Li|arXiv (Cornell University)|Nov 25, 2017

Statistical Methods and Inference被引用 3

一句话总结

该论文证明，在高维非参数回归中，当真实回归函数具有低维指数结构时，Nadaraya-Watson 核估计器可实现 Oracle 性质。通过允许带宽矩阵发散至无穷大而非收敛至零，并在半正定带宽矩阵的 K 折交叉验证中进行选择，该估计器的收敛速度取决于指数个数（m）而非完整维度（p），从而有效缓解了维度灾难。

ABSTRACT

The celebrated Nadaraya-Watson kernel estimator is among the most studied method for nonparametric regression. A classical result is that its rate of convergence depends on the number of covariates and deteriorates quickly as the dimension grows, which underscores the "curse of dimensionality" and has limited its use in high dimensional settings. In this article, we show that when the true regression function is single or multi-index, the effects of the curse of dimensionality may be mitigated for the Nadaraya-Watson kernel estimator. Specifically, we prove that with $K$-fold cross-validation, the Nadaraya-Watson kernel estimator indexed by a positive semidefinite bandwidth matrix has an oracle property that its rate of convergence depends on the number of indices of the regression function rather than the number of covariates. Intuitively, this oracle property is a consequence of allowing the bandwidths to diverge to infinity as opposed to restricting them all to converge to zero at certain rates as done in previous theoretical studies. Our result provides a theoretical perspective for the use of kernel estimation in high dimensional nonparametric regression and other applications such as metric learning when a low rank structure is anticipated. Numerical illustrations are given through simulations and real data examples.

研究动机与目标

• 为缓解协变量数量（p）增加时非参数回归中维度灾难导致的性能下降问题。
• 研究当真实回归函数具有低维指数结构时，Nadaraya-Watson 核估计器是否能在高维设置中保持快速收敛速度。
• 为在核回归中使用连续优化而非离散网格搜索来选择带宽矩阵提供理论依据。
• 证明当回归函数为单指数或多重指数时，对有界正定带宽矩阵集合进行 K 折交叉验证可获得最优收敛速度。

提出的方法

• 将 Nadaraya-Watson 估计器重新表述为使用正定带宽矩阵 H，从而允许回归函数中存在低秩结构。
• 利用 K 折交叉验证从 p×p 正定矩阵的有界子集内选择最优带宽矩阵 H。
• 应用 Dudoit 和 van der Laan（2005）以及 Györfi 等（2006）的扩展 Oracle 不等式，以界定交叉验证估计器的预测风险。
• 通过将估计器与指数空间上的低维回归关联，推导出收敛速度，利用带宽矩阵可发散至无穷大的事实。
• 采用 bracketing entropy 和 Lipschitz 连续性论证，控制参数空间的复杂度并确保一致收敛。
• 采用重参数化方法，通过 H^{1/2}(X_i - x) 应用核带宽，使估计器在 H 秩亏时能有效利用低维结构。

实验结果

研究问题

• RQ1 当真实回归函数为单指数或多重指数时，Nadaraya-Watson 核估计器是否可在高维非参数回归中实现 Oracle 性质？
• RQ2 允许带宽矩阵发散至无穷大（而非收敛至零）是否能提升高维设置下的收敛速度？
• RQ3 对连续正定带宽矩阵集合进行 K 折交叉验证是否可获得最优收敛速度？
• RQ4 当真实回归函数仅依赖于 m 个指数而非 p 个协变量时，交叉验证 Nadaraya-Watson 估计器的收敛速度是多少？
• RQ5 是否存在理论依据支持在核回归中使用基于梯度的优化方法而非离散网格搜索来选择带宽矩阵？

主要发现

• Nadaraya-Watson 核估计器实现了 Oracle 性质：其收敛速度取决于指数个数（m）而非完整维度（p），前提是真实回归函数为单指数或多重指数。
• 在 K 折交叉验证下，收敛速度为 O(n^{-2/(m+2)})，当 m ≪ p 时，远快于经典 O(n^{-2/(p+2)}) 速度。
• 允许带宽矩阵 H 发散至无穷大（即不收敛至零），是实现 Oracle 性质并避免维度灾难的关键。
• 交叉验证准则在正定矩阵的有界子集上最小化，从而为连续优化技术（如梯度下降）提供了理论依据。
• 估计器的风险被一个以 O(log(n)^{m/(m+2)} n^{-2/(m+2)}) 速率衰减的项所界定，表明在弱正则性条件下仍保持 Oracle 性质。
• 该结果在响应变量几乎必然有界、核函数为 Lipschitz 连续且满足 bracketing entropy 条件的假设下成立。