[論文レビュー] Inference for high-dimensional instrumental variables regression

David Gold, Johannes Lederer+1 more|arXiv (Cornell University)|Aug 18, 2017

Statistical Methods and Inference参考文献 40被引用数 8

ひとこと要約

本稿は、高次元の工具変数（IV）回帰におけるエンドギナリティを克服するための新規な1段階のデバイアス化手法を提案する。この手法により、標本サイズを超える回帰変数および工具変数を有する高次元IVモデルにおいても、個々の回帰係数の漸近的に有効な推論が可能になる。パラメトリックな1段階更新を2段階Lasso手順に適応させ、4つの剰余項を制御することで、漸近正規性を達成し、有効な信頼区間を構築する。

ABSTRACT

This paper concerns statistical inference for the components of a high-dimensional regression parameter despite possible endogeneity of each regressor. Given a first-stage linear model for the endogenous regressors and a second-stage linear model for the dependent variable, we develop a novel adaptation of the parametric one-step update to a generic second-stage estimator. We provide conditions under which the scaled update is asymptotically normal. We then introduce a two-stage Lasso procedure and show that the second-stage Lasso estimator satisfies the aforementioned conditions. Using these results, we construct asymptotically valid confidence intervals for the components of the second-stage regression coefficients. We complement our asymptotic theory with simulation studies, which demonstrate the performance of our method in finite samples.

研究の動機と目的

• エンドギナスな回帰変数が存在する高次元回帰係数ベクトルの個々の成分に対する統計的推論を可能にすること。
• 低次元および通常の回帰設定におけるデバイアス化技術を、高次元2段階IVモデルに拡張すること。
• 回帰変数および工具変数の両方が標本サイズを超える「二重高次元」設定における推論の一般枠組みを構築すること。
• デバイアス化推定量が個々の係数に対して漸近的に正規なピボットを生成する条件を確立すること。
• これらの条件下で、2段階Lasso推定量を用いた推論の実現可能性を示すこと。

提案手法

• 有効なモーメント条件の経験的類似を用いて、エンドギナリティを是正するための一般化された2段階推定量に、パラメトリック1段階更新を適応する。
• 更新された推定量を主項と4つの剰余項に分解し、エンドギナリティと高次元性によって生じる複雑さを扱う。
• 最初の段階での予測誤差を考慮し、工具変数の下でのエンドギナス回帰変数の条件付き平均の精密行列を推定するために、修正されたCLIME推定量を用いる。
• E[X|Z]の予測値に依存する2段階目のLasso推定量に1段階更新を適用し、高次元設定下での一貫性を保証する。
• 2段階目のLassoのℓ1推定誤差に関する確率的バインドを導出し、剰余項の漸近的無視可能性を示す。
• ノイズおよび工具変数に対してサブガウス分布を仮定し、柔軟な分布モデリングを可能にするとともに、集中不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 エンドギナスな回帰変数を有する高次元IVモデルにおいて、個々の係数に対して漸近的に有効な信頼区間を構築できるか？
• RQ2 デバイアス化された2段階Lasso推定量が、個々の回帰係数に対してどの条件下で漸近的に正規性を達成するか？
• RQ3 回帰変数および工具変数の両方が標本サイズを超える高次元設定下で、デバイアス化推定量の推定誤差および剰余項はどのように振る舞うか？
• RQ4 工具変数間の相関およびアクティブ集合のサイズが、信頼区間のカバレッジに及ぼす影響は何か？
• RQ5 提案手法をLassoに限らず、他の正則化推定量や一般化モーメント法フレームワークへ拡張可能か？

主な発見

• 提案手法は、さまざまな設定において名目水準95％の信頼区間カバレッジに近く、標本サイズが増加するにつれてカバレッジが約0.95に安定する。
• アクティブ集合サイズ（sβ）が増加するほどカバレッジが劣化するが、これは既知のLasso推定誤差バインドと整合的であり、標本サイズが大きくなると著しく改善する。
• 工具変数のトーペリッツ共分散構造は、工具変数間の相関が高いため、循環的対称構造よりも低いカバレッジを示す。
• 平均的な信頼区間長は、標本サイズが増加するにつれて短縮され、デバイアス化推定量の精度向上を反映している。
• 2段階目のLasso推定量の平均二乗誤差（MSE）は、標本サイズが大きくなるにつれて減少し、n=500およびpx=600のとき0.001未満に低下する。
• 回帰変数および工具変数の両方が標本サイズを超える状況においても、漸近的に有効な推論が可能であることを示しており、二重高次元設定におけるロバストネスを示している。