[論文レビュー] Nonparametric Independence Screening in Sparse Ultra-High Dimensional Additive Models

Jianqing Fan, Yang Feng+1 more|arXiv (Cornell University)|Dec 14, 2009

Statistical Methods and Inference参考文献 31被引用数 6

ひとこと要約

本稿では、非線形な関係を扱える非パラメトリックな周辺回帰を活用して、超高次元の加法的モデルにおける変数選択のための非パラメトリック独立スクリーニング（NIS）を提案する。弱い条件下でも確実なスクリーニング性が確立されており、有限標本においてもモデルのスパarsityと一貫性を維持しつつ、超高次の次元から中程度の次元に次元削減が可能である。

ABSTRACT

A variable screening procedure via correlation learning was proposed Fan and Lv (2008) to reduce dimensionality in sparse ultra-high dimensional models. Even when the true model is linear, the marginal regression can be highly nonlinear. To address this issue, we further extend the correlation learning to marginal nonparametric learning. Our nonparametric independence screening is called NIS, a specific member of the sure independence screening. Several closely related variable screening procedures are proposed. Under the nonparametric additive models, it is shown that under some mild technical conditions, the proposed independence screening methods enjoy a sure screening property. The extent to which the dimensionality can be reduced by independence screening is also explicitly quantified. As a methodological extension, an iterative nonparametric independence screening (INIS) is also proposed to enhance the finite sample performance for fitting sparse additive models. The simulation results and a real data analysis demonstrate that the proposed procedure works well with moderate sample size and large dimension and performs better than competing methods.

研究の動機と目的

• 超高次元モデルにおいて、周辺関係が非線形である場合に線形相関スクリーニングの限界を克服すること。
• 変数選択の精度を向上させるために、独立スクリーニングを非パラメトリックな周辺学習へと拡張すること。
• 超高次元の一般非パラメトリックモデルにおいて、確実なスクリーニングの理論的保証を確立すること。
• 有限標本性能を向上させるために、データ駆動型しきい値設定と反復的NIS（INIS）を開発すること。
• シミュレーションと実データ解析を通じて、既存の手法と比較して優れた性能を示すこと。

提案手法

• 非パラメトリックな周辺回帰を用いて変数の重要度を評価することで、確実なスクリーニングの特定メンバーとして非パラメトリック独立スクリーニング（NIS）を提案する。
• カーネルスムージングを用いて加法的モデル $ Y = \sum_{j=1}^p m_j(X_j) + \varepsilon $ における周辺非パラメトリック関数 $ f_j $ を推定し、スクリーニング統計量として経験的ノルム $ \|\hat{f}_{nj}\|_n^2 $ を計算する。
• 推定された周辺効果に基づいて変数を選択するためのデータ駆動型しきい値ルールを導入し、有限標本における安定性を向上させる。
• 反復的に非パラメトリック関数を再推定し、アクティブセットを更新することでスクリーニング結果を改善する反復的NIS（INIS）を構築する。
• 和集合の不等式と集中不等式を用いて、推定誤差とスクリーニングの一貫性に関する高確率的バインディングを導出する。
• $ \mathbb{E}[\Psi Y] $ を通じた連合回帰構造と $ \Sigma $ の固有値の上限を活用し、誤検出数を制御し、次元削減を保証する。

実験結果

リサーチクエスチョン

• RQ1 真の関係が非線形である超高次元の加法的モデルにおいて、非パラメトリックな周辺スクリーニングは線形相関スクリーニングを上回る性能を示せるか？
• RQ2 非パラメトリック独立スクリーニングは、スパースな超高次元設定において、どのような条件下で確実なスクリーニング性を達成するか？
• RQ3 提案されたデータ駆動型しきい値設定と反復的NIS（INIS）は、有限標本性能の向上にどの程度効果的か？
• RQ4 NISは、真のモデル構造を保持しつつ、どの程度次元を削減できるか？
• RQ5 経験的に、NISは高次元非パラメトリック加法的モデルにおける既存の変数選択手法と比較して、どの程度優れているか？

主な発見

• NISは弱い正則性条件のもとで確実なスクリーニング性を達成し、すべての重要な変数が高確率で保持されることを保証する。
• 一般非パラメトリックモデルにおいて、次元は $ p $ から $ O(n^{2\kappa} \lambda_{\max}(\Sigma)) $ に削減可能であり、ここで $ \kappa \in (0, 1/2) $ である。
• 理論的バインディングにより、推定誤差 $ \big| \|\hat{f}_{nj}\|_n^2 - \|f_{nj}\|^2 \big| $ が確率的に $ O(d_n n^{-2\kappa}) $ で有界であることが示され、一貫性が保証される。
• NISによる選択された変数の数は $ O(n^{2\kappa} \lambda_{\max}(\Sigma)) $ で有界であり、$ \lambda_{\max}(\Sigma) $ が有界であればゆっくりと増加する。
• 反復的NIS（INIS）手順により、逐次的な非パラメトリックフィットを経て、変数選択の精度が向上し、有限標本性能が改善される。
• シミュレーション研究と実データ解析により、NISが競合手法を上回ることを確認した。特に非線形依存性がある状況では、変数選択の正確性とモデル回復性能において顕著な優位性を示した。