[논문 리뷰] In Defense of the Indefensible: A Very Naive Approach to High-Dimensional Inference

Sen Zhao, Daniela Witten외 1명|arXiv (Cornell University)|2017. 05. 16.

Statistical Methods and Inference인용 수 9

한 줄 요약

이 논문은 고차원 선형 모델에서 간단한 두 단계 접근법—라소 선택 이후 최소제곱 추론—을 제안한다. 정규 조건 하에서, 라소는 높은 확률로 노이즈가 없는 라소와 동일한 변수를 선택하며, 이는 표준 최소제곱 도구를 통해 점점 더 유효한 신뢰구간과 p-값을 가능하게 하여 고차원에서 '직관적인' 추론 절차의 타당성을 입증한다.

ABSTRACT

A great deal of interest has recently focused on conducting inference on the parameters in a high-dimensional linear model. In this paper, we consider a simple and very na\\"{i}ve two-step procedure for this task, in which we (i) fit a lasso model in order to obtain a subset of the variables, and (ii) fit a least squares model on the lasso-selected set. Conventional statistical wisdom tells us that we cannot make use of the standard statistical inference tools for the resulting least squares model (such as confidence intervals and $p$-values), since we peeked at the data twice: once in running the lasso, and again in fitting the least squares model. However, in this paper, we show that under a certain set of assumptions, with high probability, the set of variables selected by the lasso is identical to the one selected by the noiseless lasso and is hence deterministic. Consequently, the na\\"{i}ve two-step approach can yield asymptotically valid inference. We utilize this finding to develop the \\emph{na\\"ive confidence interval}, which can be used to draw inference on the regression coefficients of the model selected by the lasso, as well as the \\emph{na\\"ive score test}, which can be used to test the hypotheses regarding the full-model regression coefficients.

연구 동기 및 목표

• p > n 인 고차원 선형 모델에서의 유효한 통계적 추론 문제를 다루기.
• 선택 후 추론이 기존 표준 신뢰구간과 p-값을 무효화하는 전통적 장벽을 극복하기.
• 일부 조건 하에서 라소 선택이 결정론적이며 노이즈가 없는 라소와 동일하다는 것을 보여주기.
• 일반 최소제곱을 사용하여 라소로 선택된 모델 기반으로 이론적으로 타당한 간단한 추론 절차 개발하기.
• 라소 선택 이후 선택된 계수에 대한 신뢰구간 구성 및 스코어 검정 수행을 위한 프레임워크 제공하기.

제안 방법

• 고차원 데이터(p > n)에서 라소를 적용하여 변수의 부분집합을 선택하기.
• 선택된 변수들에 대해 일반 최소제곱(OLS) 모델을 적합시키며, 선택을 고정된 것으로 간주하기.
• 정규 조건(예: 서브가우시안 오차, 희박성, 비대칭성 불가능성) 하에서, 라소로 선택된 집합이 높은 확률로 노이즈가 없는 라소 집합과 동일하다는 것을 증명하기.
• 이 결정론적 선택을 바탕으로 선택된 모델에서 OLS 추정량의 점근 정규성을 정당화하기.
• 선택된 모델에서 OLS 추론을 기반으로 '직관적 신뢰구간'과 '직관적 스코어 검정' 유도하기.
• 린데버그 조건과 수렴 추론을 사용하여 귀무가설 하에서의 점근적 유효성 확보하기.

실험 결과

연구 질문

• RQ1 간단한 두 단계 절차—라소 선택 이후 OLS 추론—이 고차원 모델에서 유효한 신뢰구간과 p-값을 제공할 수 있는가?
• RQ2 라소 선택이 노이즈가 없는 라소 선택과 동일한 조건은 무엇인가? 이는 선택된 모델이 결정론적이게 만든다.
• RQ3 데이터를 이중으로 사용했음에도 불구하고, 라소로 선택된 모델에서의 직관적 OLS 추론은 점근적으로 유효한가?
• RQ4 유도된 신뢰구간과 스코어 검정은 귀무가설 하에서 점근적으로 정규분포를 따르며 유효한가?
• RQ5 더 복잡한 디biased 라소나 선택 후 추론 기법과 비교할 때, 제안된 방법은 단순성과 유효성 측면에서 어떻게 다른가?

주요 결과

• 정규 조건 하에서, 라소로 선택된 모델은 높은 확률로 노이즈가 없는 라소 모델과 동일하며, 이는 선택이 결정론적임을 의미한다.
• 직관적인 두 단계 절차—라소 선택 이후 OLS 추론—는 선택된 계수에 대해 점근적으로 유효한 신뢰구간을 제공한다.
• 선택된 모델에서의 직관적 스코어 검정은 귀무가설 하에서 점근적으로 표준 정규분포를 따르며, 이는 유효한 p-값을 가능하게 한다.
• 테스트 통계량의 점근 정규성은 희박성과 오차의 서브가우시안성에 기반한 린데버그 조건을 통해 확립된다.
• 기존의 디biased 라소 접근법과 달리, 복잡한 비편향화 단계 없이도 점근적 유효성을 달성한다.
• 이론적 결과는 잘못된 모델 선택 확률이 0으로 수렴함을 보여주며, 이는 추론 프레임워크의 타당성을 뒷받침한다.