[論文レビュー] Inference for High-Dimensional Sparse Econometric Models

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Dec 31, 2011

Economic Growth and Productivity被引用数 58

ひとこと要約

本稿は、L1正則化推定を用いて高次元スパース経済計量モデルにおける推論手法を開発し、真のモデルが僅かにスパースである場合でも有効な統計的推論を可能にする。弱スパース性の条件下で推定量の漸近正規性を確立し、インスツルメンタル変数モデルや部分線形モデルに対する新しい推論手順を提供する。応用例として、教育へのリターンと成長回帰が含まれる。

ABSTRACT

This article is about estimation and inference methods for high dimensional sparse (HDS) regression models in econometrics. High dimensional sparse models arise in situations where many regressors (or series terms) are available and the regression function is well-approximated by a parsimonious, yet unknown set of regressors. The latter condition makes it possible to estimate the entire regression function effectively by searching for approximately the right set of regressors. We discuss methods for identifying this set of regressors and estimating their coefficients based on $\ell_1$-penalization and describe key theoretical results. In order to capture realistic practical situations, we expressly allow for imperfect selection of regressors and study the impact of this imperfect selection on estimation and inference results. We focus the main part of the article on the use of HDS models and methods in the instrumental variables model and the partially linear model. We present a set of novel inference results for these models and illustrate their use with applications to returns to schooling and growth regression.

研究の動機と目的

• 回帰変数の数pが標本サイズnを上回る高次元スパースモデルにおける信頼性の高い推論手順の開発を目的とする。
• 真のスパースモデルが完全に回復されない高次元設定における不完全なモデル選択の課題に対処することを目的とする。
• インスツルメンタル変数モデルや多くの系列項を含む部分線形モデルといった、重要な経済計量モデルへの有効な推論を拡張することを目的とする。
• 弱スパース性仮定のもとでL1正則化推定の理論的裏付けを提供することを目的とする。
• 教育へのリターンと成長回帰の分野における実証応用を通じて、手法の枠組みを提示することを目的とする。

提案手法

• p ≫ n の高次元スパースモデルに対してL1正則化回帰（例：Lasso）を用いて推定する。
• L1正則化によって生じるバイアスを補正するためのダブル／デバイアス処理を採用し、漸近的に正規分布に従う推定量を実現する。
• 構造的パラメータの信頼区間を構築するために、マルチプライヤーブートストラップまたは分散推定技術を適用する。
• 交差検証または関連基準を用いたデータ駆動型の正則化パラメータ選択を実装する。
• 経験過程理論および確率的行列不等式を用いて、推定誤差の理論的境界を導出する。
• アレイ漸近的枠組みを用い、s（非ゼロ係数の数）とpがnとともに増加する条件のもとで、s log p = o(n) を満たす。

実験結果

リサーチクエスチョン

• RQ1 真のモデルが僅かにスパースであり、モデル選択が不完全である場合でも、高次元スパースモデルにおける有効な推論が可能か？
• RQ2 L1正則化推定量は、どのようにしてバイアスを除去し、高次元設定において漸近正規性を達成し、信頼区間を構築できるか？
• RQ3 多くのインスツルメンタル変数を含むインスツルメンタル変数モデルにおいて、デバイアス処理されたLasso推定量の理論的性質は何か？
• RQ4 多くの系列項を含む部分線形モデルに対して、高次元スパースモデルはどのように推定可能か？
• RQ5 提案手法の有限標本性能および実世界の経済計量応用における実証的妥当性は何か？

主な発見

• 弱スパース性の条件下で、デバイアス処理Lasso推定量は漸近的に正規分布に従い、分散推定が oP(1) のレートで一貫している。
• デバイアス処理推定量の推定誤差は、O_P(√(s log p / n)) で有界であり、弱スパース性のもとで最適である。
• 正則化パラメータが標本サイズとともに増加する多くのインスツルメンタル変数を含むモデルに対しても、有効な推論が達成される。
• 多くの系列項を含む部分線形モデルは、提案されたデバイアス処理手順を用いることで、有効な推論が可能になる。
• 教育へのリターンと成長回帰への実証的応用では、この手法が意味のある構造的効果を特定し、信頼区間の正しいカバレッジを達成している。
• 理論的結果は、非正規誤差や弱相関を含む最小限の仮定のもとで成り立つため、実用的応用性が向上する。