[論文レビュー] L1-Penalized Quantile Regression in High-Dimensional Sparse Models

Alexandre Belloni, Victor Chernozhukov|arXiv (Cornell University)|Apr 19, 2009

Statistical Methods and Inference参考文献 32被引用数 36

ひとこと要約

本稿は、回帰変数の数 p がサンプルサイズ n よりも大きいが、真に影響を持つのは s ≪ n 個に限られる高次元スパースモデルに対して、ℓ₁-罰則付き分位数回帰（ℓ₁-QR）およびpost-ℓ₁-QR推定量を開発・分析する。コンパクトな分位数インデックス集合上で、近似的にオラクルレート √(s/n)√(log(p∨n)) の一様一貫性を確立し、誤差分散の知識を必要としないデータ駆動型罰則水準により、スパarsityおよびbeta-min条件のもとで最適レートとモデル選択の一貫性を達成する。

ABSTRACT

We consider median regression and, more generally, a possibly infinite collection of quantile regressions in high-dimensional sparse models. In these models the overall number of regressors $p$ is very large, possibly larger than the sample size $n$, but only $s$ of these regressors have non-zero impact on the conditional quantile of the response variable, where $s$ grows slower than $n$. We consider quantile regression penalized by the $\ell_1$-norm of coefficients ($\ell_1$-QR). First, we show that $\ell_1$-QR is consistent at the rate $\sqrt{s/n} \sqrt{\log p}$. The overall number of regressors $p$ affects the rate only through the $\log p$ factor, thus allowing nearly exponential growth in the number of zero-impact regressors. The rate result holds under relatively weak conditions, requiring that $s/n$ converges to zero at a super-logarithmic speed and that regularization parameter satisfies certain theoretical constraints. Second, we propose a pivotal, data-driven choice of the regularization parameter and show that it satisfies these theoretical constraints. Third, we show that $\ell_1$-QR correctly selects the true minimal model as a valid submodel, when the non-zero coefficients of the true model are well separated from zero. We also show that the number of non-zero coefficients in $\ell_1$-QR is of same stochastic order as $s$. Fourth, we analyze the rate of convergence of a two-step estimator that applies ordinary quantile regression to the selected model. Fifth, we evaluate the performance of $\ell_1$-QR in a Monte-Carlo experiment, and illustrate its use on an international economic growth application.

研究の動機と目的

• p ≫ n の高次元スパースモデルにおいて、通常の分位数回帰の不一致を解消すること。
• 高次元設定における一貫性のある推定とモデル選択を可能にするため、ℓ₁-QRおよびpost-ℓ₁-QR推定量を開発すること。
• 分位数インデックスのコンパクト集合上でℓ₁-QRおよびpost-ℓ₁-QRの均一収束レートを確立すること。
• 誤差分散の知識を必要とせず、最適レートを達成するデータ駆動型で部分的にピロティカルな罰則水準を提供すること。
• ℓ₁-QRが真のモデルを正しく選択し、ハードスレッショーディングが最小真のモデルを回復する条件を特定すること。

提案手法

• 高次元スパースモデルにおける回帰係数推定のため、ℓ₁-罰則付き分位数回帰（ℓ₁-QR）を提案する。
• ℓ₁-QRが選択したモデルに対して非罰則付き分位数回帰を適用するpost-ℓ₁-QR推定量を導入する。
• スコア過程の経験的分位数に基づくデータ駆動型で、部分的にピロティカルな罰則水準を導出し、最適レート性能を保証する。
• 経験過程理論と集中不等式を用いて、経験固有値をバインドし、推定誤差を制御する。
• スパース固有値条件と制限固有値仮定を用いて、分位数インデックスの集合上で均一収束を確立する。
• 高次元統計および経験過程理論の結果を活用し、分位数インデックスのコンパクト集合上での均一バインドを導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元スパースモデルにおいて、ℓ₁-QRは分位数インデックスのコンパクト集合上で、近似的にオラクルレート √(s/n)√(log(p∨n)) を一様に達成できるか？
• RQ2 ℓ₁-QRにおけるデータ駆動型で部分的にピロティカルな罰則水準は、誤差分散の知識を必要とせず、最適収束レートを達成できるか？
• RQ3 ℓ₁-QRが真のモデルを、真のモデルがスパースであっても、部分モデルとして正しく選択する条件は何か？
• RQ4 ℓ₁-QRが一部の真の回帰変数を落とす場合に、post-ℓ₁-QRはℓ₁-QRよりも速い収束レートを達成できるか？
• RQ5 どのような条件下で、ℓ₁-QR推定量のハードスレッショーニングが、分位数インデックスのコンパクト集合上で一様に最小真のモデルを回復するか？

主な発見

• 一般的な正則性条件の下で、ℓ₁-QRは分位数インデックスのコンパクト集合上で、近似的にオラクルレート √(s/n)√(log(p∨n)) の一様一貫性を達成する。
• 最適レートを達成するデータ駆動型で部分的にピロティカルな罰則水準を提案し、それがオラクル水準の罰則と同等の性能を示すことを示した。
• 非ゼロ係数がゼロから十分に離れている（beta-min条件を満たす）場合、ℓ₁-QRは真のモデルを部分モデルとして正しく選択する。
• post-ℓ₁-QRはℓ₁-QRと同等の近似的にオラクルレートを達成し、ℓ₁-QRが一部の真の成分を落とす場合、オラクルレートに近いレートを達成できる。
• 適切な条件下で、ℓ₁-QR推定量のハードスレッショーニングは、分位数インデックスのコンパクト集合上で一様に最小真のモデルを回復する。
• 固定された相関 ρ ∈ (−1,1) を持つ相関付き正規設計では、設計行列の経験的スパース固有値が、ρ に依存する定数で高確率で有界であり、推定誤差の一様制御が保証される。