[논문 리뷰] Valid Post-selection Inference in Assumption-lean Linear Regression

Arun Kumar Kuchibhotla, Lawrence D. Brown외 3명|arXiv (Cornell University)|2018. 06. 11.

Statistical Methods and Inference참고 문헌 24인용 수 7

한 줄 요약

이 논문은 임의의 데이터 기반 변수 선택 하에서 선형 회귀에서 유효한 사후 선택 추론을 위한 계산적으로 효율적인 방법을 제안한다. 결정론적 부등식을 사용하여 기존 방법보다 훨씬 작은 신뢰 영역을 구성하며, 이는 일반적인 조건 하에서 유효성을 보장한다. 이는 종속된 데이터와 비동일하게 분포된 데이터를 포함한 상황에서도 유효하며, 고정된 공변수 하에서 최적의 크기를 달성한다.

ABSTRACT

Construction of valid statistical inference for estimators based on data-driven selection has received a lot of attention in the recent times. Berk et al. (2013) is possibly the first work to provide valid inference for Gaussian homoscedastic linear regression with fixed covariates under arbitrary covariate/variable selection. The setting is unrealistic and is extended by Bachoc et al. (2016) by relaxing the distributional assumptions. A major drawback of the aforementioned works is that the construction of valid confidence regions is computationally intensive. In this paper, we first prove that post-selection inference is equivalent to simultaneous inference and then construct valid post-selection confidence regions which are computationally simple. Our construction is based on deterministic inequalities and apply to independent as well as dependent random variables without the requirement of correct distributional assumptions. Finally, we compare the volume of our confidence regions with the existing ones and show that under non-stochastic covariates, our regions are much smaller.

연구 동기 및 목표

• 데이터 기반 모델 선택 이후에도 유효한 통계적 추론을 가능하게 하여 과학 분야의 재현성 위기를 해결한다.
• 모델링 결론이 데이터에 의존할 경우 실패하는 고전적 추론의 한계를 극복한다 (연구자 자유도 문제).
• 모델 잘못 설정이 있거나 강한 분포 가정이 없는 상황에서도 유효한 추론을 제공한다.
• 기존 접근 방식보다 계산적으로 효율적이고 부피가 더 작은 신뢰 영역을 제공한다. 특히 고정된 공변수 하에서 성능이 뛰어나다.
• 의존성과 비동일 분포를 포함한 데이터에 대해 강건한 사후 선택 추론의 프레임워크를 수립한다.

제안 방법

• 사후 선택 추론이 동시에 시행하는 추론과 동치임을 증명하여, 신뢰 영역에 대한 통합적 접근을 가능하게 한다.
• 분포 근사가 아닌 결정론적 부등식을 사용하여, 모형 가정이 정확하지 않아도 유효성을 보장한다.
• 선형 부등식의 체계를 정의함으로써, 국소 추론에 대해 선형 프로그래밍을 통해 효율적인 계산이 가능하도록 한다.
• 일반 최소제곱법(Ols)의 추정 방정식 프레임워크를 사용하여, 모형 잘못 설정에 대해 강건한 추론 절차를 유도한다.
• 독립적이고 종속적인 랜덤 변수, 특히 비스스로(고정된) 공변수에 적용 가능하다.
• 설계 행렬의 임의의 선형 변환에 대해 신뢰 영역이 불변임을 보여주지만, 이는 계산 효율성과 충돌할 수 있다.

실험 결과

연구 질문

• RQ1 제한적인 분포 가정이나 계산적으로 비효율적인 방법에 의존하지 않고 유효한 사후 선택 신뢰 영역을 구성할 수 있는가?
• RQ2 특히 고정된 공변수 하에서 사후 선택 신뢰 영역의 부피는 기존 방법보다 어떻게 비교되는가?
• RQ3 제안된 방법은 모형 잘못 설정과 데이터의 종속성 하에서도 유효성을 유지할 수 있는가?
• RQ4 사후 선택 추론에서 계산 효율성과 애핀 불변성 사이에 상충 관계가 존재하는가?
• RQ5 이 프레임워크는 OLS 선형 회귀를 초월한 다른 M-추정 문제로 확장될 수 있는가?

주요 결과

• 제안된 신뢰 영역은 Berk 등(2013)과 Bachoc 등(2016)의 결과보다 특히 고정된 공변수 하에서 부피가 훨씬 작다.
• 모형 잘못 설정과 종속된 데이터 하에서도 점차적으로 유효하며, 신뢰 수준 최소 1−α를 확보한다.
• 고정된 공변수 하에서 최적 크기를 달성하며, Remark 4.6에서 이를 입증하였고, 유효성 손실 없이 달성된다.
• 신뢰 영역은 결정론적 부등식에 기반하여, i.i.d. 또는 정규 분포 가정이 없어도 유효성을 보장한다.
• 선형 프로그래밍을 통해 개별 계수에 대한 국소 추론이 가능하지만, 이러한 영역은 보수적인 경향이 있다.
• 이 프레임워크는 사후 선택 추론과 고차원 스파arsity 유도 추정기 사이의 연결 고리를 드러내며, 다른 M-추정 문제로의 확장 가능성을 시사한다.