[논문 리뷰] Valid Post-Selection Inference in High-Dimensional Approximately Sparse Quantile Regression Models

Alexandre Belloni, Victor Chernozhukov외 1명|arXiv (Cornell University)|2013. 12. 27.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 근사적 희박성 조건 하에서 고차원 분위수 회귀 모형에 대해 유효한 사후 모델 선택 추론 방법을 제안한다. 기저 함수 gτ의 일차 추정 오차에 대해 강건한 수직 점수 함수를 사용함으로써 모델 선택 오차에 대한 강건성을 확보한다. 수많은 회귀변수 수가 표본 크기보다 많을 경우에도, 즉 β-min 조건이 필요 없이도, 회귀계수에 대한 균일한 점근 정규성과 유효한 신뢰영역을 확립한다.

ABSTRACT

This work proposes new inference methods for a regression coefficient of interest in a (heterogeneous) quantile regression model. We consider a high-dimensional model where the number of regressors potentially exceeds the sample size but a subset of them suffice to construct a reasonable approximation to the conditional quantile function. The proposed methods are (explicitly or implicitly) based on orthogonal score functions that protect against moderate model selection mistakes, which are often inevitable in the approximately sparse model considered in the present paper. We establish the uniform validity of the proposed confidence regions for the quantile regression coefficient. Importantly, these methods directly apply to more than one variable and a continuum of quantile indices. In addition, the performance of the proposed methods is illustrated through Monte-Carlo experiments and an empirical example, dealing with risk factors in childhood malnutrition.

연구 동기 및 목표

• p ≫ n 조건 하에서 고차원 분위수 회귀 모형의 회귀계수에 대한 추론 방법을 개발하는 것.
• 고차원 환경에서 흔히 발생하는 모델 선택 오차가 존재하더라도, 신뢰영역의 유효성을 확보하는 것.
• 다변량 처리 변수와 분위수 인덱스의 연속체에 대한 추론을 확장하는 것.
• 수직 점수 함수를 활용하여 β-min 조건의 필요성을 제거하는 것.
• 약한 정규성 및 희박성 조건 하에서도 균일하게 유효한 신뢰영역을 제공하는 것.

제안 방법

• 혼합요인 함수 gτ의 일차 추정 오차에 대해 강건한 수직 점수 함수를 사용한다.
• ℓ1-정규화된 분위수 회귀와 사후 모델 선택 추정을 활용해 초도 모델 적합을 수행한다.
• 혼합오차를 제거하기 위해 밀도 가중치를 적용한 후 Lasso 추정을 적용한 이질분산 사후 Lasso를 사용한다.
• 두 가지 추정량을 구성한다: 하나는 네이만 유형 점수 통계량을 통해, 다른 하나는 선택된 변수에 대한 밀도 가중 분위수 회귀를 통해.
• 추정량에 대한 중심극한 정리 기반의 피봇할 선형 표현을 구현하여 유효한 추론을 가능하게 한다.
• 네이만 유형 점수 통계량의 점근 카이제곱 분포를 활용하여 신뢰역의 구축을 수행한다.

실험 결과

연구 질문

• RQ1 고차원 근사적 희박성 모형에서 모델 선택 이후에도 분위수 회귀 계수에 대해 유효한 신뢰영역을 구성할 수 있는가?
• RQ2 고차원 환경에서 모델 선택 오차가 불가피할 경우, 추론은 어떻게 유효하게 유지될 수 있는가?
• RQ3 제안된 방법은 다변량 처리 변수와 분위수 인덱스의 연속체를 처리할 수 있는가?
• RQ4 비정규적인 혼합요인 함수 gτ 추정에 대해 추론 절차는 강건한가?
• RQ5 이 방법은 점근적 유효성을 확보하기 위해 β-min 조건이 필요하지 않은가?

주요 결과

• 제안된 추정량은 루트-n 수렴성과 점근 정규성을 가지며, 피봇할 선형 표현을 갖는다.
• 추정된 표준오차를 기반으로 한 신뢰영역은 온건한 모멘트 및 희박성 조건 하에서 점근적 포함 확률 1−ξ를 달성한다.
• 귀무가설 하에서 네이만 유형 점수 통계량은 점근적으로 자유도 1인 카이제곱 분포를 따르며, 이는 유효한 신뢰역을 가능하게 한다.
• 어레이 점근 이론 하에서 광범위한 데이터 생성 과정의 클래스에 대해 균일한 유효성을 확보한다.
• 회귀계수와 0 사이의 분리 조건(β-min 조건)이 필요 없이도, 신뢰영역이 유효하다.
• 몬테카를로 실험과 아동 영양결핍 위험 요인에 대한 실증 적용을 통해 유한표본 성능이 확인되었다.