[論文レビュー] Post-Selection Inference for Generalized Linear Models With Many Controls

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Apr 15, 2013

Statistical Methods and Inference参考文献 21被引用数 17

ひとこと要約

本稿は、高次元の制御変数を伴う一般化線形モデル（GLM）に対して、二重選択法または最適な道具変数戦略を用いて、根nの一致性推定とパラメータの注目対象について一様に有効な信頼領域を達成する、事後選択推論手法を提案する。これは、スパarsity仮定の下で、制御変数の数が標本サイズを上回る状況でも、分離条件を要しない。

ABSTRACT

This article considers generalized linear models in the presence of many controls. We lay out a general methodology to estimate an effect of interest based on the construction of an instrument that immunizes against model selection mistakes and apply it to the case of logistic binary choice model. More specifically we propose new methods for estimating and constructing confidence regions for a regression parameter of primary interest α₀, a parameter in front of the regressor of interest, such as the treatment variable or a policy variable. These methods allow to estimate α₀ at the root-<i>n</i> rate when the total number <i>p</i> of other regressors, called controls, potentially exceeds the sample size <i>n</i> using sparsity assumptions. The sparsity assumption means that there is a subset of <i>s</i> &lt; <i>n</i> controls, which suffices to accurately approximate the nuisance part of the regression function. Importantly, the estimators and these resulting confidence regions are valid uniformly over <i>s</i>-sparse models satisfying <i>s</i>²log ²<i>p</i> = <i>o</i>(<i>n</i>) and other technical conditions. These procedures do not rely on traditional consistent model selection arguments for their validity. In fact, they are robust with respect to moderate model selection mistakes in variable selection. Under suitable conditions, the estimators are semi-parametrically efficient in the sense of attaining the semi-parametric efficiency bounds for the class of models in this article.

研究の動機と目的

• 標本サイズnを上回る制御変数数pを伴う高次元一般化線形モデルにおける有効な統計的推論の課題に取り組む。
• モデル選択誤差に強く耐性を持つ、注目パラメータα₀の均一に有効な推論手順を開発する。
• 経済学的および生物学的応用においてしばしば現実的でない分離条件への依存を排除する。
• スパarsity仮定の下で、根nの一致性および半パラメトリック効率性を達成する。
• s-スパースモデルでs² log²p = o(n)を満たす範囲で、正しい漸近的被覆確率を一様に維持する信頼領域を提供する。

提案手法

• 高次元設定におけるモデル選択ミスに強く耐性を持つ推定量を構築するために、二重選択法を採用する。
• ネイマンのノイズパラメータ処理の考え方にインspiredされ、変数選択の誤りに対して推論を免疫化する最適な道具変数構築を用いる。
• スパarsity仮定の下で、ℓ₁正則化推定（ラッソ型）を用いて関連する制御変数を同定する。
• 一歩補正または二重選択を用いて信頼領域を構築し、モデル全体にわたる一様な有効性を保証する。
• ノイズ回帰関数を正確に近似するために必要な制御変数がs ≪ n個に限られるというスパarsity仮定を活用する。
• 一貫的なモデル選択を要しないで有効性を保証し、高次元漸近論および集中不等式に依存する。

実験結果

リサーチクエスチョン

• RQ1 p ≫ n の状況下で、高次元一般化線形モデルにおいて注目パラメータの均一に有効な信頼領域を構築できるか？
• RQ2 モデル選択の一貫性に依存せずに、注目パラメータの根nの一致性を達成する方法は何か？
• RQ3 一部の係数がゼロに近い（つまり分離条件を満たさない）状況において、モデル選択誤差が中程度に発生しても、推論手順はどの程度頑健か？
• RQ4 スパarsityを仮定し、分離条件を仮定しない状況で、高次元GLMにおける半パラメトリック効率性を達成できるか？
• RQ5 近似的にスパースな設計において、二重選択法の性能は、従来のモデル選択に基づく推論と比べてどうか？

主な発見

• 提案手法の推定量は、s² log²p = o(n) の条件下で、p ≫ n の状況下でも注目パラメータα₀について根nの一致性を達成する。
• 一貫的なモデル選択を要件とせず、s-スパースモデル全体にわたって正しい漸近的被覆確率を一様に維持する信頼領域が得られる。
• 特に係数がO(n⁻¹/²)のオーダーである場合（通常はゼロと区別がつかない）に、中程度のモデル選択誤差に対しても頑健である。
• 推定量は半パラメトリックに効率的であり、考察されたモデルクラスの半パラメトリック効率限界に達している。
• モンテカルロシミュレーションの結果、二重選択推定量は、正確にスパースな設計と同程度の性能を示し、信頼性が保証される。
• 分離条件を仮定しないまま、応用経済学および生物統計の文脈でしばしば現実的でない条件を回避して有効性を保つ。