[論文レビュー] High-Dimensional Econometrics and Regularized GMM

Alexandre Belloni, Victor Chernozhukov+3 more|arXiv (Cornell University)|Jun 5, 2018

Statistical Methods and Inference被引用数 17

ひとこと要約

本稿は、標本サイズnに対してパラメータ数pが大きい場合の推定および仮説検定のための高次元漸近理論を展開し、正則化された一般化矩法（GMM）に焦点を当てる。高次元中心極限定理、ブートストラップ近似、中程度の偏差不等式を確立し、高次元パラメータの関数的推定、特に同時信頼区間や誤り発見率（FDR）制御の有効な推論を可能にする。応用例として高次元線形モデルおよびインスツルメンタル変数モデルを含む。

ABSTRACT

This chapter presents key concepts and theoretical results for analyzing estimation and inference in high-dimensional models. High-dimensional models are characterized by having a number of unknown parameters that is not vanishingly small relative to the sample size. We first present results in a framework where estimators of parameters of interest may be represented directly as approximate means. Within this context, we review fundamental results including high-dimensional central limit theorems, bootstrap approximation of high-dimensional limit distributions, and moderate deviation theory. We also review key concepts underlying inference when many parameters are of interest such as multiple testing with family-wise error rate or false discovery rate control. We then turn to a general high-dimensional minimum distance framework with a special focus on generalized method of moments problems where we present results for estimation and inference about model parameters. The presented results cover a wide array of econometric applications, and we discuss several leading special cases including high-dimensional linear regression and linear instrumental variables models to illustrate the general results.

研究の動機と目的

• パラメータ数pが標本サイズnに対して大きい高次元計量経済モデルにおける推論の理論的枠組みを構築すること。
• 古典的漸近的手法（中心極限定理、ブートストラップ法など）を、p ≫ n の高次元設定に拡張すること。
• 高次元パラメータベクトルにおける同時推論および多重仮説検定について、家族誤り率（FWER）または誤り発見率（FDR）制御を伴う厳密な理論を提供すること。
• 高次元正則性条件のもとで、特に二重／バイアス補正推定量を用いた正則化GMM推定量の有効性を確立すること。
• 多くの矩条件やインスツルメンタル変数を含むモデルにおける、高次元推定および推論の既存結果を統合・一般化すること。

提案手法

• 推定量を近似的に線形形式として表現するための『多数の近似平均（MAM）』フレームワークを用いる：√n(θ̂ − θ₀) = (1/√n)∑Zᵢ + rₙ、ここでZᵢは影響関数、rₙは無視できる誤差である。
• p ≫ n の下で、√n(θ̂ − θ₀) の分布に対する高次元中心極限定理（CLT）およびブートストラップ近似を適用する。
• 高次元和の尾部挙動を制御するため、中程度の偏差不等式および最大/反集中不等式を用いる。
• 高次元モデルにおけるパラメータの誠実な推定を可能にするネイマン直交（バイアス補正）推定方程式の概念を導入する。
• 正則化と直交矩条件を組み合わせた二重／バイアス補正正則化GMM（DRGMM）フレームワークを構築し、√n漸近正規性を保証する。
• 収縮原理およびシンメトライゼーション技術（ラダマッチャー・ハッセイを介して）を用いて、高次元パrameter空間上の経験過程の上界を制御する。

実験結果

リサーチクエスチョン

• RQ1 p ≫ n の下で、高次元パラメータベクトルθ₀のすべての成分に対して、同時に信頼区間を構築する方法は何か？
• RQ2 ブートストラップが高次元モデルにおける推定量の高次元標本分布をどれほど正確に近似できるかの条件は何か？
• RQ3 複数の高次元仮説を検定する際、家族誤り率（FWER）または誤り発見率（FDR）をどのように制御できるか？
• RQ4 多くの矩条件を含む高次元モデルにおける正則化GMM推定量に対して、どのような理論的保証を提供できるか？
• RQ5 二重／バイアス補正GMM推定量が、高次元設定においてどの条件下で√n漸近正規性を達成するか？

主な発見

• 弱いモーメント条件のもとで高次元中心極限定理が成立し、pがnより速く増加しても推定量の漸近正規性が保証される。
• わずかなモーメントおよび自己相関条件のもとで、高次元標本分布へのブートストラップ近似が有効である。これにより、明示的な分散推定を必要とせずに推論が可能になる。
• 推定量の真のパラメータからの最大偏差を用いることで、θ₀のすべてのp個の成分に対する同時信頼区間を構築でき、被覆確率は名目水準に近づく。
• 個々の検定統計量の漸近正規性に基づくしきい値処理手順により、高次元多重仮説検定における誤り発見率（FDR）制御が達成可能である。
• ノイズパラメータ推定誤差が十分に小さい限り、二重／バイアス補正正則化GMM（DRGMM）推定量はp ≫ n であっても√n漸近正規性を達成する。
• 収縮原理およびサブガウス型尾部不等式を用いてDRGMM推定量の誤差に対する理論的バインドを導出し、高次元設定におけるロバストネスを保証する。