[論文レビュー] Honest Confidence Regions for Logistic Regression with a Large Number of Controls

Alexandre Belloni, Victor Chernozhukov+1 more|arXiv (Cornell University)|Apr 15, 2013

Statistical Methods and Inference参考文献 11被引用数 20

ひとこと要約

本稿は、制御変数の数が標本サイズを上回る状況下で、ロジスティック回帰における注目パラメータの推定と整合的信頼領域の構築のためのロバストな手法を提案する。スパarsityとインストゥルメンタル変数技術を活用することで、一貫したモデル選択に依存せず、弱い正則性条件のもとでroot-n推定と一様有効性を達成する。

ABSTRACT

This paper considers generalized linear models in the presence of many controls. We lay out a general methodology to estimate an effect of interest based on the construction of an instrument that immunize against model selection mistakes and apply it to the case of logistic binary choice model. More specifically we propose new methods for estimating and constructing confidence regions for a regression parameter of primary interest $\alpha_0$, a parameter in front of the regressor of interest, such as the treatment variable or a policy variable. These methods allow to estimate $\alpha_0$ at the root-$n$ rate when the total number $p$ of other regressors, called controls, potentially exceed the sample size $n$ using sparsity assumptions. The sparsity assumption means that there is a subset of $s<n$ controls which suffices to accurately approximate the nuisance part of the regression function. Importantly, the estimators and these resulting confidence regions are valid uniformly over $s$-sparse models satisfying $s^2\log^2 p = o(n)$ and other technical conditions. These procedures do not rely on traditional consistent model selection arguments for their validity. In fact, they are robust with respect to moderate model selection mistakes in variable selection. Under suitable conditions, the estimators are semi-parametrically efficient in the sense of attaining the semi-parametric efficiency bounds for the class of models in this paper.

研究の動機と目的

• 標本サイズを上回る数の制御変数が存在するロジスティック回帰において、注目パラメータを推定する課題に対処すること。
• 制御変数のモデル選択が不完全または一貫性がない場合でも有効な推論手順を開発すること。
• 高次元でスパースなモデルの広いクラスにわたって、推定と信頼領域が一様に有効であることを保証すること。
• 一貫したモデル選択や強いパラメトリック仮定を必要とせず、半パラメトリック効率性を達成すること。

提案手法

• 制御変数のモデル選択に起因する推定誤差と無相関なインストゥルメンタル変数を構築すること。
• スパarsity仮定の利用：ネイジュー関数を正確に近似するために、制御変数の小さな部分集合（s < n）のみが必要であること。
• 主効果の推定とネイジュー関数の推定を分離する2段階手順を用いて、注目パラメータを推定すること。
• 高次元の制御選択によって生じる推定バイアスを補正するためのデバイアス補正技術を適用すること。
• s-スパースモデル全体にわたって一様有効性を保証することで、中程度のモデル選択ミスに対しても信頼領域をロバストにすること。
• s² log²p = o(n) の条件下で漸近理論を活用し、推定量のroot-n収束性と漸近正規性を保証すること。

実験結果

リサーチクエスチョン

• RQ1 制御変数の数が標本サイズを上回る状況下で、ロジスティック回帰における注目パラメータのための整合的信頼領域を構築できるか？
• RQ2 制御変数のモデル選択が一貫性がないか不完全な場合、どのようにして有効な推論を保証できるか？
• RQ3 高次元ロジスティックモデルにおいて、注目パラメータのroot-n推定が可能となる条件は何か？
• RQ4 提案手法は、一貫したモデル選択に依存せず、半パラメトリック効率性を達成できるか？
• RQ5 s² log²p = o(n) を満たすさまざまなスパースモデルにわたって、この手法は一様にどのように性能を発揮するか？

主な発見

• 提案手法の推定量は、制御変数の数pが標本サイズnを上回る場合でも、注目パラメータに対してroot-n収束を達成する。
• s-スパースモデル全体にわたって、s² log²p = o(n) の条件下で、この手法で構築された信頼領域は一様に有効である。
• 一貫した制御変数の選択が不要であり、中程度のモデル選択ミスに対しても手法は有効である。
• 適切な正則性条件の下で、推定量は半パラメトリック効率性の下限に達しており、最適な推定性能を示す。
• 有効性の根拠として一貫したモデル選択を必要としないため、高次元変数選択の一般的な落とし穴に対してロバストである。
• 本手法は、多くの制御変数を伴う一般化線形モデルに広く適用可能であり、特にロジスティック二値選択モデルに焦点を当てる。