[論文レビュー] Adaptive post-Dantzig estimation and prediction for non-sparse "large $p$ and small $n$" models

Lu Lin, Lixing Zhu+1 more|arXiv (Cornell University)|Aug 7, 2010

Statistical Methods and Inference参考文献 19被引用数 3

ひとこと要約

本稿では、スパarsity仮定が成立しない非スパースな高次元モデル（$p$ が大きく $n$ が小さい）に対して、従来の手法が失敗する状況においても、適応的後続Dantzig推定を提案する。Dantzig選択子と非パラメトリック補正、およびインストゥルメンタル変数を組み合わせることで、非スパース性下でも一貫的かつ漸近正規な推定が達成され、古典的手法（例：ガウス型Dantzig選択子）に比べて予測精度が著しく向上する。

ABSTRACT

For consistency (even oracle properties) of estimation and model prediction, almost all existing methods of variable/feature selection critically depend on sparsity of models. However, for ``large $p$ and small $n$" models sparsity assumption is hard to check and particularly, when this assumption is violated, the consistency of all existing estimations is usually impossible because working models selected by existing methods such as the LASSO and the Dantzig selector are usually biased. To attack this problem, we in this paper propose adaptive post-Dantzig estimation and model prediction. Here the adaptability means that the consistency based on the newly proposed method is adaptive to non-sparsity of model, choice of shrinkage tuning parameter and dimension of predictor vector. The idea is that after a sub-model as a working model is determined by the Dantzig selector, we construct a globally unbiased sub-model by choosing suitable instrumental variables and nonparametric adjustment. The new estimation of the parameters in the sub-model can be of the asymptotic normality. The consistent estimator, together with the selected sub-model and adjusted model, improves model predictions. Simulation studies show that the new approach has the significant improvement of estimation and prediction accuracies over the Gaussian Dantzig selector and other classical methods have.

研究の動機と目的

• スパarsity仮定が満たされない非スパースな「大$ p $、小$ n $」モデルにおいて、既存の推定手法が一貫性を失う問題に対処すること。
• モデルのスパarsity、チューニングパラメータの選択、次元数にかかわらず、推定の一貫性と漸近正規性を達成する手法の開発。
• Dantzig選択子が選択する作業モデルにおけるバイアスを是正することで、推定と予測精度を向上させること。
• スパarsityに依存しない超高次元回帰における一貫性のある推論のフレームワークを確立すること。

提案手法

• まず、次元削減のため、Dantzig選択子によって選択された作業部分モデルを用いる。
• バイアスを是正するため、インストゥルメンタル変数を用いてグローバルに不偏な部分モデルを構築する。
• 選択された部分モデルに対して、インストゥルメンタル変数に基づく低次元非パラメトリック推定を用いて非パラメトリック補正を施す。
• 非パラメトリック補正とインストゥルメンタル変数構造を組み込んだ修正推定方程式を解くことで、最終的な推定量を導出する。
• 正則性条件の下で、次元 $q$ が標本サイズとともに増大しても、漸近正規性と $\ell_2$ 一貫性が確立される。
• 非スパarsity、チューニングパラメータの選択、次元数に適応可能であり、多様な高次元設定においてもロバストな性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 スパarsity仮定が成立しない非スパースな「大$ p $、小$ n $」モデルにおいて、一貫的かつ漸近正規な推定が達成可能か？
• RQ2 Dantzig選択子の作業モデルに起因するバイアスは、どのように是正され、推定と予測精度が向上するか？
• RQ3 インストゥルメンタル変数と非パラメトリック補正は、非スパース性下での一貫性を達成するために果たす役割は何か？
• RQ4 パrameterベクトルの次元 $q$ が標本サイズとともに増大する場合、提案手法は一貫性と漸近正規性を維持できるか？
• RQ5 非スパース設定において、ガウス型Dantzig選択子や他の古典的手法と比較して、本手法の性能はいかがなものか？

主な発見

• 固定された $q$ の下で、提案された適応的後続Dantzig推定量は $\|\hat{\theta} - \theta\|_{{\ell}_2}^2 = O_p(n^{-1})$ を達成し、$\ell_2$ 一貫性を保証する。
• 正則性条件の下で、パrameterベクトルの次元 $q$ が標本サイズとともに発散する場合でさえ、推定量は漸近正規性を有する。
• シミュレーション研究において、ガウス型Dantzig選択子や他の古典的手法に比べ、推定と予測精度が著しく向上する。
• インストゥルメンタル変数に基づく非パラメトリック補正により、Dantzig選択子の作業モデルに内在するバイアスが是正され、グローバルに不偏な推定が可能になる。
• 非スパarsity、チューニングパラメータの選択、次元数に適応可能であり、多様な高次元設定においてロバストな性能を発揮する。
• 理論的結果により、推定誤差が $O_p(h^k + 1/\sqrt{nh^{2(d+1)}}) + O_p(n^{-\mu})$ で有界であることが確認され、最適バンド幅選択では $O_p(n^{-k/(2(k+d+1))})$ の収束速度が達成される。