[논문 리뷰] Post-Selection Inference for Generalized Linear Models With Many Controls

Alexandre Belloni, Victor Chernozhukov외 1명|arXiv (Cornell University)|2013. 04. 15.

Statistical Methods and Inference참고 문헌 21인용 수 17

한 줄 요약

이 논문은 고차원적 제어 변수를 가진 일반화선형모형에 대해 후행 선택 추론 방법을 제안하며, 이중 선택 또는 최적의 도구변수 전략을 사용하여, 수많은 제어 변수가 표본 크기보다 많을 경우에도 스파arsity 가정 하에 루트-n 일致 추정과 균일하게 타당한 신뢰영역을 달성한다. 이는 분리 조건을 요구하지 않으며, 경제학적 및 생물통계학적 응용에서 흔히 현실적으로 보이지 않는 조건을 제거한다.

ABSTRACT

This article considers generalized linear models in the presence of many controls. We lay out a general methodology to estimate an effect of interest based on the construction of an instrument that immunizes against model selection mistakes and apply it to the case of logistic binary choice model. More specifically we propose new methods for estimating and constructing confidence regions for a regression parameter of primary interest α₀, a parameter in front of the regressor of interest, such as the treatment variable or a policy variable. These methods allow to estimate α₀ at the root-<i>n</i> rate when the total number <i>p</i> of other regressors, called controls, potentially exceeds the sample size <i>n</i> using sparsity assumptions. The sparsity assumption means that there is a subset of <i>s</i> &lt; <i>n</i> controls, which suffices to accurately approximate the nuisance part of the regression function. Importantly, the estimators and these resulting confidence regions are valid uniformly over <i>s</i>-sparse models satisfying <i>s</i>²log ²<i>p</i> = <i>o</i>(<i>n</i>) and other technical conditions. These procedures do not rely on traditional consistent model selection arguments for their validity. In fact, they are robust with respect to moderate model selection mistakes in variable selection. Under suitable conditions, the estimators are semi-parametrically efficient in the sense of attaining the semi-parametric efficiency bounds for the class of models in this article.

연구 동기 및 목표

• 표본 크기 n을 초월하는 제어 변수의 수 p를 가진 고차원 일반화선형모형에서 타당한 통계적 추론을 다루는 데 어려움을 해결한다.
• 모델 선택 오류에 강건한, 관심 파rameter α₀에 대한 균일하게 타당한 추론 절차를 개발한다.
• 경제학 및 생물통계학 적용에서 흔히 현실적으로 보이지 않는 분리 조건에 의존하지 않도록 제거한다.
• 스파arsity 가정 하에 루트-n 일치성과 준모수적 효율성을 추정에 달성한다.
• s² log²p = o(n) 조건을 만족하는 s-스파arsity 모형 전체에 걸쳐 정확한 점근적 커버리지가 유지되는 신뢰영역을 제공한다.

제안 방법

• 고차원 설정에서 모델 선택 실수에 강건한 추정량을 구성하기 위해 이중 선택 접근법을 사용한다.
• 노이만의 노이지 파라미터 접근법을 영감으로 삼아, 변수 선택 오류로부터 추론을 면역화하기 위해 최적의 도구변수를 구성한다.
• 스파arsity 가정 하에 ℓ₁-패널티 추정(라소 유사)을 적용하여 관련 제어 변수를 식별한다.
• 일단 수정 또는 이중 선택을 통해 균일한 타당성을 확보하는 신뢰영역을 구성한다.
• 오직 s ≪ n개의 제어 변수만이 노이지 회귀 함수를 정확히 근사하는 데 필요한 것으로 간주되는 스파arsity 가정을 활용한다.
• 일致적인 모델 선택이 필요하지 않으며, 고차원 점근적 분석과 농도 불등식에 의존한다.

실험 결과

연구 질문

• RQ1 p ≫ n 조건에서 고차원 일반화선형모형에서 관심 파rameter에 대해 균일하게 타당한 신뢰영역을 구성할 수 있는가?
• RQ2 모델 선택 일치성에 의존하지 않고도 관심 파rameter에 대해 루트-n 일치성을 달성할 수 있는가?
• RQ3 일부 계수들이 0에 가까운 경우(즉, 분리 조건 위반 시) 모델 선택 오류가 중간 정도일 경우 추론 절차는 어느 정도 강건한가?
• RQ4 스파arsity 조건 하에 분리 조건을 가정하지 않고도 고차원 GLMs에서 준모수적 효율성을 달성할 수 있는가?
• RQ5 근사적으로 스파arsity 구조를 가진 설계에서 이중 선택 방법의 성능은 기존의 모델 선택 기반 추론과 비교해 어떻게 되는가?

주요 결과

• 제안된 추정량은 s² log²p = o(n) 조건 하에 p ≫ n 조건에서도 관심 파rameter α₀에 대해 루트-n 일치성을 달성한다.
• 모델 선택 일치성이 필요 없이도 s-스파arsity 모형 전체에 걸쳐 정확한 점근적 커버리지가 유지되는 신뢰영역을 제공한다.
• 모델 선택 오류에 대해 중간 정도의 강건성을 보이며, 특히 계수들이 O(n⁻¹/²) 수준일 경우(일般적으로 0과 구별하기 어려운 경우)에 특히 강력하다.
• 추정량은 준모수적 효율성을 달성하여 고려된 모형 클래스의 준모수적 효율 한계에 도달한다.
• 몬테카를로 시뮬레이션 결과, 이중 선택 추정량은 정확히 스파arsity 구조가 아닌 근사적으로 스파arsity 구조에서도 신뢰성 있게 작동하며, 정확한 스파arsity 설계에서의 성능과 유사하다.
• 분리 조건을 가정하지 않아도 성립하므로, 실제 응용에서 흔히 현실적으로 보이지 않는 응용 분야인 경제학 및 생물통계학 설정에서도 여전히 타당하다.