[論文レビュー] Rodeo: Sparse Nonparametric Regression in High Dimensions

John Lafferty, Larry Wasserman|ArXiv.org|Jun 17, 2005

Gaussian Processes and Bayesian Inference参考文献 32被引用数 16

ひとこと要約

Rodeoは、局所線形推定量の導関数をしきい値処理することで、同時にバンドウ幅選択と変数選択を実行する高次元におけるスパース非パラメトリック回帰のための貪欲アルゴリズムである。スパarsity仮定の下で次元の呪いを回避し、事前に関連する変数を知っている場合と同等の近似的に最適なミニマックス収束レートを達成する。これは、導関数勾配が大きい変数のバンドウ幅を繰り返し縮小することで実現される。

ABSTRACT

We present a greedy method for simultaneously performing local bandwidth selection and variable selection in nonparametric regression. The method starts with a local linear estimator with large bandwidths, and incrementally decreases the bandwidth of variables for which the gradient of the estimator with respect to bandwidth is large. The method--called rodeo (regularization of derivative expectation operator)--conducts a sequence of hypothesis tests to threshold derivatives, and is easy to implement. Under certain assumptions on the regression function and sampling density, it is shown that the rodeo applied to local linear smoothing avoids the curse of dimensionality, achieving near optimal minimax rates of convergence in the number of relevant variables, as if these variables were isolated in advance.

研究の動機と目的

• 高次元の共変量におけるスパarsityを活用することで、非パラメトリック回帰における次元の呪いに対処すること。
• バンドウ幅選択と変数選択を同時に実行する計算的に効率的な手法を開発すること。
• 非パラメトリック推定量の導関数情報を利用することで、収束レートの理論的最適性を達成すること。
• 計算が高コストであるか、形式的な保証がない既存の手法に対する理論的根拠に基づいた貪欲な代替手法を提供すること。
• 関数に影響を与える変数の少数に限定されるような高次元設定での実用的応用を可能にすること。

提案手法

• すべての変数に対して大きな初期バンドウ幅を用いた局所線形推定量から出発する。
• 各変数について、推定量のバンドウ幅に関する勾配を計算し、感度を評価する。
• 導関数推定値にハードしきい値処理を適用し、導関数の絶対値が小さい変数を除外する。
• 導関数勾配が大きい変数にのみバンドウ幅を繰り返し縮小し、関連する可能性のある変数に焦点を当てる。
• 導関数推定値に対する仮説検定を用いて、どの変数を保持するかを決定し、効果的に変数選択を実行する。
• 計算効率が高く、高次元問題にスケーリング可能な貪欲で逐次的な更新戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 貪欲な手法は、理論的最適性を維持しながら、非パラメトリック回帰においてバンドウ幅選択と変数選択を同時に実行できるか？
• RQ2 スパarsityのもとで、Rodeoアルゴリズムは高次元非パラメトリック回帰において近似的に最適なミニマックス収束レートを達成するか？
• RQ3 従来のバンドウ幅選択および変数選択手法と比較して、導関数に基づくしきい値処理機構は、計算効率および理論的保証の面でどのように異なるか？
• RQ4 真の回帰関数が関連する変数の少数にのみ依存する場合、この手法は次元の呪いを回避できるか？
• RQ5 スパarsityおよび滑らかさの条件下で、Rodeo推定量の収束レートの理論的根拠は何か？

主な発見

• Rodeoアルゴリズムは、$ n^{-4/(4+r)+ ext{small error}} $ のミニマックス収束レートを達成する。ここで $ r $ は関連する変数の数であり、関連する変数が事前に分かっている場合と同等の最適レートに一致する。
• 回帰関数および設計密度に関する正則性条件のもとで、この手法は関連する変数に焦点を当てることで、次元の呪いを回避する。
• 非関連変数を誤って含める確率は $ O(1/ ext{log log } n) $ で有界であり、標本サイズが増加するにつれて0に収束する。
• 最終推定量の二乗バイアスは、任意の $ heta > 0 $ に対して $ O_P(n^{-4/(4+r)+ heta}) $ であり、分散に対しても同様に $ O_P(n^{-4/(4+r)+ heta}) $ となる。これにより、バイアス-バリアンスのトレードオフがバランスが取れる。
• 理論的解析により、関連する変数が事前に分かっているという仮定を緩和しても、しきい値処理ルールが適切に調整されていれば、この手法は一貫性を保つことが示された。
• 初期バンドウ幅の選択に強く依存せず、導関数感度に基づくバンドウ幅の反復的精錬を通じて、正しいスパースパターンに収束することが示された。