[논문 리뷰] Honest Confidence Regions for Logistic Regression with a Large Number of Controls

Alexandre Belloni, Victor Chernozhukov외 1명|arXiv (Cornell University)|2013. 04. 15.

Statistical Methods and Inference참고 문헌 11인용 수 20

한 줄 요약

이 논문은 표본 크기보다 많은 수의 조절 변수를 가진 로지스틱 회귀에서 관심 있는 계수를 추정하고 정직한(confidence) 구역을 구성하기 위한 강건한 방법을 제안한다. 희소성과 통제 변수의 도구변수 기법을 활용하여, 일관된 모델 선택이 필요 없이 약한 정규성 조건 하에서도 루트-n 추정과 균일한 타당성을 달성한다.

ABSTRACT

This paper considers generalized linear models in the presence of many controls. We lay out a general methodology to estimate an effect of interest based on the construction of an instrument that immunize against model selection mistakes and apply it to the case of logistic binary choice model. More specifically we propose new methods for estimating and constructing confidence regions for a regression parameter of primary interest $\alpha_0$, a parameter in front of the regressor of interest, such as the treatment variable or a policy variable. These methods allow to estimate $\alpha_0$ at the root-$n$ rate when the total number $p$ of other regressors, called controls, potentially exceed the sample size $n$ using sparsity assumptions. The sparsity assumption means that there is a subset of $s<n$ controls which suffices to accurately approximate the nuisance part of the regression function. Importantly, the estimators and these resulting confidence regions are valid uniformly over $s$-sparse models satisfying $s^2\log^2 p = o(n)$ and other technical conditions. These procedures do not rely on traditional consistent model selection arguments for their validity. In fact, they are robust with respect to moderate model selection mistakes in variable selection. Under suitable conditions, the estimators are semi-parametrically efficient in the sense of attaining the semi-parametric efficiency bounds for the class of models in this paper.

연구 동기 및 목표

• 표본 크기보다 많은 수의 조절 변수가 존재할 때 로지스틱 회귀에서 관심 있는 매개변수를 추정하는 데 도전하는 것.
• 조절 변수에 대한 모델 선택이 불완전하거나 일관되지 않은 경우에도 유효한 추론 절차를 개발하는 것.
• 다양한 고차원적 희소 모델 전반에 걸쳐 추정 및 신뢰 구역이 균일하게 타당하도록 보장하는 것.
• 일관된 모델 선택이나 강력한 파라미터 가정 없이도 반모수적 효율성을 달성하는 것.

제안 방법

• 조절 변수의 모델 선택 오차와 상관관계가 없는 도구변수를 구성하는 것.
• 희소성 가정 활용: 희소성 가정: 오직 소수의 조절 변수(s < n)만이 손상 회귀 함수를 정확히 근사하는 데 필요하다.
• 주 효과 추정과 손상 함수 추정을 분리하는 이중단계 절차를 사용해 관심 있는 매개변수를 추정하는 것.
• 고차원적 조절 변수 선택으로 인한 추정 편향을 보정하기 위해 탈편향 기법을 적용하는 것.
• s-희소 모델 전역에서 균일한 타당성을 확보함으로써 중간 정도의 모델 선택 실수에 강건한 신뢰 구역을 구성하는 것.
• s² log²p = o(n) 조건 하에서 渐近 이론을 활용하여 추정량의 루트-n 수렴성과 점근 정규성을 보장하는 것.

실험 결과

연구 질문

• RQ1 표본 크기보다 많은 수의 조절 변수가 존재할 때 로지스틱 회귀에서 관심 있는 매개변수에 대해 정직한(confidence) 구역을 구성할 수 있는가?
• RQ2 조절 변수에 대한 모델 선택이 일관되지 않거나 불완전한 경우 어떻게 유효한 추론을 보장할 수 있는가?
• RQ3 고차원적 로지스틱 모델에서 관심 있는 매개변수의 루트-n 추정이 가능한 조건은 무엇인가?
• RQ4 제안된 방법은 일관된 모델 선택에 의존하지 않고도 반모수적 효율성을 달성할 수 있는가?
• RQ5 s² log²p = o(n) 조건을 만족하는 다양한 희소 모델에 대해 이 방법은 균일하게 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 추정량은 조절 변수의 수 p가 표본 크기 n을 초과하는 경우에도 관심 있는 매개변수에 대해 루트-n 수렴성을 달성한다.
• s-희소 모델 전역에서 s² log²p = o(n) 조건 하에 제안된 방법으로 구성된 신뢰 구역은 균일하게 타당하다.
• 일관된 조절 변수 선택이 필요 없이 중간 정도의 모델 선택 실수에 대해서도 방법이 유효하다.
• 적절한 정규성 조건 하에서 추정량은 반모수적 효율 한계에 도달하며, 최적의 추정 성능를 나타낸다.
• 유효성 확보를 위해 일관된 모델 선택이 필요 없어, 고차원 변수 선택에서 흔한 함정에 강건하다.
• 이 방법은 많은 조절 변수를 가진 일반화선형모형에 널리 적용 가능하며, 특히 이元형 이진선택 모형에 집중적으로 적용된다.