[논문 리뷰] Bias-Aware Inference in Regularized Regression Models

Timothy B. Armstrong, Michal Kolesár외 1명|arXiv (Cornell University)|2020. 12. 29.

Statistical Methods and Inference참고 문헌 38인용 수 5

한 줄 요약

이 논문은 제어 변수의 계수 크기를 제약하는 페널티 함수를 통해 정규화된 회귀에서 편향 인식 추론을 제안한다. 이는 악성 상황에서의 편향과 분산을 최적의 균형으로 유지하는 추정기의 가능성을 보장한다. 이 방법은 두 단계 절차를 사용한다: 페널티가 부여된 성향 스코어 회귀, 다음으로 단일 회귀에서 잔차를 도구 변수로 사용하는 절차이다. 이는 동등한 오차가 가정된 경우 유한 표본에서 유효한 신뢰구간을 제공하며, 이질적 분산과 고차원 점근적 설정에서 점근적으로 유효하다. 주요 기여는 유한 표본에서 근사 최적의 평균 제곱 오차와 신뢰구간 길이를 달성하며, 고차원 설정에서 새로운 수렴 속도를 도출하는 것이다.

ABSTRACT

We consider inference on a scalar regression coefficient under a constraint on the magnitude of the control coefficients. A class of estimators based on a regularized propensity score regression is shown to exactly solve a tradeoff between worst-case bias and variance. We derive confidence intervals (CIs) based on these estimators that are bias-aware: they account for the possible bias of the estimator. Under homoskedastic Gaussian errors, these estimators and CIs are near-optimal in finite samples for MSE and CI length. We also provide conditions for asymptotic validity of the CI with unknown and possibly heteroskedastic error distribution, and derive novel optimal rates of convergence under high-dimensional asymptotics that allow the number of regressors to increase more quickly than the number of observations. Extensive simulations and an empirical application illustrate the performance of our methods.

연구 동기 및 목표

• 샘플 크기 $n$ 보다 제어 변수 수 $k$ 가 많은 고차원 회귀 모델에서 기존의 OLS 가 불안정하거나 정의되지 않을 때의 추론 문제를 다루기 위해.
• 희박성 가정이 비현실적이거나 검증 불가능한 경우에도, 정규화된 추정기의 유한 표본 편향을 고려하는 방법을 개발하기 위해.
• 최악의 상황에서의 편향을 직접적으로 고려하여 임계값에 통합함으로써, 유한 표본 편향에 강건한 신뢰구간을 구축하기 위해.
• 제어 변수 수 $k$ 가 표본 크기 $n$ 보다 더 빠르게 증가하는 고차원 점근적 설정에서 수렴 속도의 최적 기준을 도출하기 위해.
• 제어 변수가 고차원일 경우에도 이질적 처리 효과를 허용할 수 있도록 $\beta$ 를 가중 평균 처리 효과로 재해석할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 제어 계수 $\gamma$ 의 크기를 제약하기 위해 페널티 함수 $\operatorname{Pen}(\gamma) \leq C$ 를 사용하며, 이는 희박성 가정 대신 볼록 대칭 제약을 도입한다.
• 두 단계 추정기 방법을 제안한다: 첫째, 제어 변수 $z_i$ 에 대해 치료 변수 $w_i$ 를 정규화된 성향 스코어 회귀로 추정하며, $\operatorname{Pen}(\cdot)$ 를 페널티로 사용한다. 둘째, 잔차를 도구 변수로 사용하여 $Y_i$ 와 $w_i$ 간의 단일 회귀를 수행한다.
• 신뢰구간의 임계값은 첫 번째 단계의 정규화된 회귀에서 자동으로 도출되는 추정기의 최악의 상황에서의 편향을 포함하도록 유도된다.
• 이질적 분산 오차의 경우, 이질적 분산에 강건한 분산 추정기법을 사용하여 신뢰구간을 구성하며, 점근적 유효성을 보장하기 위한 조건을 제시한다.
• 유한 표본 위험 최소화 기반으로 평균 제곱 오차 또는 신뢰구간 길이를 최소화하는 최적의 페널티 가중치를 선택한다.
• 제어 계수의 모델링에 대해 유연성을 제공하며, $\ell_p$ 노름이나 비모수 근사 설정에서의 도함수 제약 조건을 포함한다.

실험 결과

연구 질문

• RQ1 제어 변수 수 $k$ 가 표본 크기 $n$ 을 초과할 때 고차원 회귀 모델에서 추론이 어떻게 유효하게 유지될 수 있는가?
• RQ2 제어 계수의 크기에 제약 조건이 있을 때 정규화된 회귀에서 최악의 상황에서의 편향과 분산 사이의 최적 트레이드오프는 무엇인가?
• RQ3 희박성 가정에 의존하지 않고도, 유한 표본 편향에 강건한 신뢰구간을 어떻게 구성할 수 있는가?
• RQ4 제어 변수 수 $k$ 가 표본 크기 $n$ 보다 더 빠르게 증가할 때 추정 및 추론의 최적 수렴 속도는 무엇인가?
• RQ5 고차원 제어 변수가 존재할 때 이 방법을 어떻게 수정하여 이질적 처리 효과를 허용할 수 있는가?

주요 결과

• 제안된 추정기는 동등한 오차 가정 하에서 유한 표본에서 근사 최적의 평균 제곱 오차를 달성하며, 최적의 페널티 가중치는 해석적으로 유도된다.
• 가우시안 동등 분산 가정 하에서 유한 표본에서 bias-aware 추정기 기반의 신뢰구간은 유효하며, 최악의 상황에서의 편향이 임계값에 자동으로 통합되기 때문이다.
• 고차원 점근적 설정에서 $k \gg n$ 인 경우, 미약한 모멘트 및 尾 조건 하에서 최적의 수렴 속도 $O_p\left(K_n^{1/2}(k_1/n + C_n \sqrt{\log k_2}/\sqrt{n})^{1/2}\right)$ 를 달성한다.
• 이질적 분산 오차 하에서, $k_2 \log k_2 / n \to 0$ 이고 $(\log k_2)^{3/2}/\sqrt{n} \to 0$ 이면, 신뢰구간의 점근적 유효성이 확립된다.
• 희박성 가정이 위반될 경우, 표준 듀얼 라소 방법보다 유한 표본에서 더 우수한 성능을 보이며, 이는 희박성에 의존하지 않고 $\|\gamma\|_p$ 의 유계성에 기반하기 때문이다.
• 이 프레임워크는 $\ell_p$ 노름 및 비모수 근사 설정에서의 도함수 기반 제약 조건을 포함한 다양한 페널티 함수를 통해 제어 계수의 모델링에 대해 높은 유연성을 제공한다.