[論文レビュー] An Oracle Property of The Nadaraya-Watson Kernel Estimator for High Dimensional Nonparametric Regression

Daniel Conn, Gang Li|arXiv (Cornell University)|Nov 25, 2017

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿では、真の回帰関数が低次元のインデックス構造を持つ場合、高次元非線形回帰におけるNadaraya-Watsonカーネル推定量がオラクル性を達成することを確立している。帯域行列をゼロに収束させるのではなく無限大に発散させるようにし、正定値帯域行列のK-fold交差検証を用いることで、推定量は次元全体（p）ではなくインデックス数（m）に依存する収束速度を達成し、次元の呪いを効果的に軽減する。

ABSTRACT

The celebrated Nadaraya-Watson kernel estimator is among the most studied method for nonparametric regression. A classical result is that its rate of convergence depends on the number of covariates and deteriorates quickly as the dimension grows, which underscores the "curse of dimensionality" and has limited its use in high dimensional settings. In this article, we show that when the true regression function is single or multi-index, the effects of the curse of dimensionality may be mitigated for the Nadaraya-Watson kernel estimator. Specifically, we prove that with $K$-fold cross-validation, the Nadaraya-Watson kernel estimator indexed by a positive semidefinite bandwidth matrix has an oracle property that its rate of convergence depends on the number of indices of the regression function rather than the number of covariates. Intuitively, this oracle property is a consequence of allowing the bandwidths to diverge to infinity as opposed to restricting them all to converge to zero at certain rates as done in previous theoretical studies. Our result provides a theoretical perspective for the use of kernel estimation in high dimensional nonparametric regression and other applications such as metric learning when a low rank structure is anticipated. Numerical illustrations are given through simulations and real data examples.

研究の動機と目的

• 説明変数の数（p）が増加する際の非線形回帰における次元の呪いを軽減すること。
• 真の回帰関数が低次元インデックス構造を持つ場合、Nadaraya-Watsonカーネル推定量が高次元設定でも高速な収束速度を維持できるかどうかを調査すること。
• カーネル回帰における帯域行列の連続的最適化（離散グリッド探索ではなく）の理論的裏付けを確立すること。
• 回帰関数が単一または多次元インデックスである場合、有界な正定値帯域行列の集合上でK-fold交差検証を実施することで、最適な収束速度が得られることを示すこと。

提案手法

• 正定値帯域行列Hを用いてNadaraya-Watson推定量を再定式化し、回帰関数に低ランク構造を組み込む。
• p×p正定値行列の有界部分集合から、K-fold交差検証により最適な帯域行列Hを選択する。
• Dudoitとvan der Laan（2005）およびGyörfiら（2006）の拡張されたオラクル不等式を用いて、交差検証推定量の予測リスクを上限で抑え込む。
• 帯域行列が無限大に発散できることを活用し、推定量をインデックス空間における低次元回帰に帰着させることで収束速度を導出する。
• ブレケット化エントロピーとリプシッツ連続性の議論を用いて、パrameter空間の複雑さを制御し、一様収束を保証する。
• 再パrametrizationにより、カーネル帯域をH^{1/2}(X_i - x)として適用することで、Hがランク不足のとき低次元構造を効果的に活用できるようにする。

実験結果

リサーチクエスチョン

• RQ1 真の回帰関数が単一または多次元インデックス構造を持つ場合、Nadaraya-Watsonカーネル推定量は高次元非線形回帰においてオラクル性を達成できるか？
• RQ2 帯域行列をゼロに収束させるのではなく無限大に発散させるようにすることで、高次元設定における収束速度が向上するか？
• RQ3 有界な正定値帯域行列の連続的集合上でK-fold交差検証を実施することで、最適な収束速度が得られるか？
• RQ4 真の回帰関数がp個の説明変数ではなくm個のインデックスに依存する場合、交差検証済みNadaraya-Watson推定量の収束速度はどのようになるか？
• RQ5 カーネル回帰において、離散グリッド探索ではなく勾配ベース最適化を帯域行列に適用する理論的裏付けはあるか？

主な発見

• Nadaraya-Watsonカーネル推定量はオラクル性を達成する：真の回帰関数が単一または多次元インデックスである限り、収束速度は次元全体（p）ではなくインデックス数（m）に依存する。
• K-fold交差検証下では収束速度がO(n^{-2/(m+2)})であり、m ≪ pのとき古典的でO(n^{-2/(p+2)})の速度よりも著しく速い。
• 帯域行列Hはゼロに収束するのではなく無限大に発散させることを許容しており、これがオラクル性を達成し、次元の呪いを回避する鍵である。
• 交差検証基準は正定値行列の有界部分集合上で最小化され、勾配降下などの連続的最適化手法の理論的裏付けが可能になる。
• 推定量のリスクは、O(log(n)^{m/(m+2)} n^{-2/(m+2)})の速度で減少する項によって上限で抑えられ、ややきつい正則性条件のもとでオラクル性が確認される。
• 結果は、応答変数がほとんど確実に有界であり、カーネル関数がリプシッツ連続で、ブレケット化エントロピー条件を満たすという仮定のもとで成り立つ。