[論文レビュー] Tight conditions for consistent variable selection in high dimensional nonparametric regression

Laëtitia Comminges, Arnak S. Dalalyan|arXiv (Cornell University)|Feb 17, 2011

Statistical Methods and Inference参考文献 27被引用数 14

ひとこと要約

本稿は、埋め込み次元 $d$ よりもはるかに小さい内在次元 $d^*$ を持つ高次元非パラメトリック回帰における一貫した変数選択のタイトな非漸近的条件を確立する。この手法はしきい値を適用した経験的フーリエ係数を用い、滑らかさの弱い仮定の下で、$d^* / \log n \to 0$ のとき一貫した回復が可能であり、$d^* / \log n \to \infty$ のときは不可能であることを証明している。

ABSTRACT

We address the issue of variable selection in the regression model with very high ambient dimension, i.e., when the number of covariates is very large. The main focus is on the situation where the number of relevant covariates, called intrinsic dimension, is much smaller than the ambient dimension. Without assuming any parametric form of the underlying regression function, we get tight conditions making it possible to consistently estimate the set of relevant variables. These conditions relate the intrinsic dimension to the ambient dimension and to the sample size. The procedure that is provably consistent under these tight conditions is simple and is based on comparing the empirical Fourier coefficients with an appropriately chosen threshold value.

研究の動機と目的

• 高次元設定（$d$ が大きく、$n$ が小さい）における非パラメトリック回帰の一致する変数選択に関する理論的ギャップを埋めること。
• スパarsityパターン（関連する共変量の集合）の一致推定を保証する $d^*$、$d$、$n$ に対するタイトな非漸近的条件を導出すること。
• 滑らかさの仮定を最小限に抑え、失敗確率の明示的バウンドを伴って、経験的フーリエ係数に基づく提案手法が一貫性を達成することを示すこと。
• 鋭いフェーズ遷移を確立すること：滑らかさおよび設計に関する弱い仮定の下で、$d^* / \log n \to 0$ ならば一貫した回復が可能であり、$d^* / \log n \to \infty$ ならば不可能である。
• 計算制約なしでの非パラメトリック変数選択の根本的限界を特定することで、将来の手法の評価のベンチマークを提供すること。

提案手法

• この手法は、関連のない変数に対応する係数が小さいという事実を利用し、回帰関数の経験的フーリエ係数をしきい値処理することでスパarsityパターンを推定する。
• ノイズレベル $σ$、回帰関数の滑らかさ（$L_2$ および $L_∞$ ノルムで測定）、設計密度の性質に基づいて、データ駆動型のしきい値が導出される。
• 段階的計算戦略が用いられる：各ステップ $K = 1, 2, \dots, d^*$ において、$\|\boldsymbol{k}\|_0 = K$ を満たす係数のみを計算し、しきい値と比較し、$d^*$ 個の関連変数が特定された段階で停止する。
• 集中不等式およびエントロピー推定を用いた理論的保証が得られ、誤差確率は $3(6md)^{d^*}$ でバウンドされ、導出された条件下で $d \to \infty$ のとき消える。
• この手法は非パラメトリックであり、回帰関数の特定のパラメトリック形を仮定しない。滑らかさおよび有界性条件にのみ依存する。
• 解析では、関連するフーリエインデックスの集合のエントロピーと、関数 $N(d^*, 2L)$ の振る舞いを用いて、標本サイズ要件の鋭いバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック回帰におけるスパarsityパターンの一致回復を可能にする $d^*$、$d$、$n$ に対する最もタイトな条件は何か？
• RQ2 滑らかさの仮定および設計密度に関する最小限の仮定の下で、非パラメトリックな変数選択手順は一貫性を達成できるか？
• RQ3 標本サイズおよび次元の間で、一貫した回復と一貫しない回復を分ける鋭いフェーズ遷移が存在するか？
• RQ4 非パラメトリックモデルにおける一貫した変数選択のための内在次元 $d^*$ は、$n$ および $d$ に対してどのようにスケーリングされるか？
• RQ5 提案されたフーリエベースの手法は、加法的モデルなどの特定の関数クラスに対して、多項式時間の複雑さで一貫性を達成できるか？

主な発見

• 滑らかさおよび設計に関する弱い仮定の下で、$n \to \infty$ のとき $d^* / \log n \to 0$ ならば、一貫した変数選択が可能である。
• $d^* / \log n \to \infty$ ならば一貫した回復が不可能であり、定数の違いを除いて下界と一致する鋭い閾値を確立している。
• 提案されたしきい値を適用したフーリエ係数に基づく推定量は、条件 $\log d / n \leq c_\star$ の下で一貫性を達成する。ここで $c_\star$ は滑らかさおよびノイズパラメータに依存する。
• 推定量の失敗確率は $3(6md)^{d^*}$ でバウンドされ、導出された条件下で $d \to \infty$ のとき 0 に収束する。
• 加法的モデルでは、この手法は計算的に実行可能であり、$d$ に関して多項式時間の複雑さにまで低下する。
• 本研究は、線形モデルと非パラメトリックモデルの間の長年のギャップを埋めた：線形モデルでは $d^* \log(d/d^*) = o(n)$ のとき一貫した回復が可能であるが、非パラメトリックモデルでは $d^* / \log n \to 0$ が条件となり、高 $d^*$ の領域ではよりタイトである。