[論文レビュー] Uniform Post Selection Inference for LAD Regression Models

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Apr 1, 2013

Statistical Methods and Inference被引用数 5

ひとこと要約

本稿では、高次元スパースLAD回帰モデルにおける回帰係数の均一に有効な信頼領域を、post-ℓ1-ペナルティ付きまたはℓ1-ペナルティ付きLAD回帰に基づくインストゥルメンタルLAD推定量を用いて提案する。この手法は、p = 2であってもナーヴィなオラクルベース推論が失敗する状況でさえも、スパースモデル全体にわたる漸近正規性推論を保証する。

ABSTRACT

We develop uniformly valid confidence regions for a regression coefficient in a high-dimensional sparse LAD (least absolute deviation or median) regression model. The setting is one where the number of regressors p could be large in comparison to the sample size n, but only s « n of them are needed to accurately describe the regression function. Our new methods are based on the instrumental LAD regression estimator that assembles the optimal estimating equation from either post ℓ- penalised LAD regression or ℓ1- penalised LAD regression. The estimating equation is immunised against non-regular estimation of nuisance part of the regression function, in the sense of Neyman. We establish that in a homoscedastic regression model, under certain conditions, the instrumental LAD regression estimator of the regression coefficient is asymptotically root-n normal uniformly with respect to the underlying sparse model. The resulting confidence regions are valid uniformly with respect to the underlying model. The new inference methods outperform the naive, 'oracle based' inference methods, which are known to be not uniformly valid- with coverage property failing to hold uniformly with respect the underlying model- even in the setting with p = 2. We also provide Monte-Carlo experiments which demonstrate that standard post-selection inference breaks down over large parts of the parameter space, and the proposed method does not.

研究の動機と目的

• 高次元スパースLAD回帰モデルにおける回帰係数の均一に有効な信頼領域を開発すること。
• 高次元設定において標準的な選択後推論手法の崩壊を解消すること。
• p ≫ n でさえも、スパースモデル全体にわたる一様な推論有効性を保証すること。
• ネイジユ回帰関数の非正規推定に対して頑健な推定量を構築すること。
• オラクルベース推論に比べて優れた性能を示すこと、特に一様に被覆率を維持できない点を補うこと。

提案手法

• 最適推定方程式に基づくインストゥルメンタルLAD回帰推定量を用いる。
• 関連する回帰変数の選択のために、post-ℓ1-ペナルティ付きまたはℓ1-ペナルティ付きLAD回帰を用いた推定方程式を構築する。
• ネイマンの免疫化原理を用いて、ネイジユ成分の非正規推定に対する影響を免疫化するように推定量を設計する。
• ホモスケダスティシティおよびスパarsity条件の下で、推定量の漸近正規性を確立する。
• 基礎となるスパースモデル空間全体にわたる信頼領域の一様有効性を証明する。
• 標準的な選択後推論との性能比較のため、モンテカルロ実験を用いる。

実験結果

リサーチクエスチョン

• RQ1 高次元スパースLADモデルにおける回帰係数の均一に有効な信頼領域を構築できるか？
• RQ2 標準的な選択後推論は、低次元設定ですらパrameter空間全体にわたって失敗するのか？
• RQ3 LAD回帰によるインストゥルメンタル推定は、係数推定量の一様漸近正規性を保証できるか？
• RQ4 提案手法はオラクルベース推論と比べて被覆精度においてどのように異なるか？
• RQ5 提案手法はネイジユ回帰関数の非正規推定に対して頑健か？

主な発見

• インストゥルメンタルLAD推定量は、ホモスケダスティシティのもとで、スパースモデル空間全体にわたって漸近的root-n正規性を達成する。
• この推定量に基づく信頼領域は、すべての基礎となるスパースモデルにわたって一様に有効である。p = 2のケースを含む。
• モンテカルロ実験により、標準的な選択後推論はパrameter空間の広い範囲で崩壊することが示された。
• 一般的に用いられるが、一様被覆率を維持できないオラクルベース推論手法とは対照的に、提案手法はパrameter空間全体で正確な被覆を維持する。
• 免疫化アプローチは、ネイジユ成分における非正規推定の影響を効果的に軽減した。