[논문 리뷰] Exact Post Model Selection Inference for Marginal Screening

Jason D. Lee, Jonathan Taylor|arXiv (Cornell University)|2014. 02. 23.

Genetic and phenotypic traits in livestock참고 문헌 22인용 수 65

한 줄 요약

이 논문은 고차원 선형 회귀에서 경계 스크리닝을 위한 정확한 모델 선택 후 추론 프레임워크를 제안하며, 선택된 모델를 조건으로 한 분포를 유도하기 위해 '선택 조건화' 접근법을 사용한다. 이는 점근적 근사이나 엄격한 설계 행렬 가정에 의존하지 않으며, 유효한 신뢰구간과 가설 검정을 가능하게 하며, 대규모 데이터 세트에 적합한 낮은 계산 비용을 제공한다.

ABSTRACT

We develop a framework for post model selection inference, via marginal screening, in linear regression. At the core of this framework is a result that characterizes the exact distribution of linear functions of the response $y$, conditional on the model being selected (``condition on selection" framework). This allows us to construct valid confidence intervals and hypothesis tests for regression coefficients that account for the selection procedure. In contrast to recent work in high-dimensional statistics, our results are exact (non-asymptotic) and require no eigenvalue-like assumptions on the design matrix $X$. Furthermore, the computational cost of marginal regression, constructing confidence intervals and hypothesis testing is negligible compared to the cost of linear regression, thus making our methods particularly suitable for extremely large datasets. Although we focus on marginal screening to illustrate the applicability of the condition on selection framework, this framework is much more broadly applicable. We show how to apply the proposed framework to several other selection procedures including orthogonal matching pursuit, non-negative least squares, and marginal screening+Lasso.

연구 동기 및 목표

• 모델 선택에 의해 유도된 편향으로 인해 표준 신뢰구간과 가설 검정이 무효화되는 문제를 해결한다. 특히, 경계 스크리닝을 통한 모델 선택 후 발생하는 선택 편향에 기인한 문제를 다룬다.
• 표본 크기의 점근적 근사나 고유값 조건에 의존하지 않는 비점근적 프레임워크를 개발하여, 모델 선택 후 정확한 통계적 추론을 가능하게 한다.
• 경계 스크리닝의 단순성에 기반하여 계산 효율성이 높은 추론을 가능하게 하며, 특히 초고차원 데이터 세트에 특히 적합하도록 한다.
• 선택 조건화 프레임워크를 경계 스크리닝을 넘어선 다른 선택 절차, 즉 OMP, Lasso, 비음수 최소제곱에까지 확장한다.
• 선택 절차를 고려한 정확한 신뢰구간과 p-값을 구성할 수 있는 일반적인 방법을 제공하여, 정확한 커버리지와 제1종 오류 통제를 보장한다.

제안 방법

• 선택 조건화 프레임워크를 체계화한다: 특정 모델이 선택된 조건에서 선형 함수의 응답 $ y $ 의 정확한 조건부 분포를 유도한다.
• 경계 스크리닝의 선택 사건을 $ y $ 에 대한 선형 제약 조건의 집합으로 표현한다. 즉, $ \{ y : A y \leq b \} $ 로 표현하며, 이는 상관관계 순서와 부호 조건에 기반한다.
• 절단 정규분포에 대해 근본적인 통계량을 구성하여 조건부 모델 하에서 정확한 추론을 가능하게 한다.
• 유도된 조건부 분포를 활용하여 선택 편향을 보정한 회귀 계수에 대한 정확한 신뢰구간과 가설 검정을 구성한다.
• 직교 매칭 풍선(OMP), 비음수 최소제곱(NNLS), 경계 스크리닝 + Lasso 등의 다른 선택 절차로 프레임워크를 확장한다. 각 절차의 선택 사건 제약 조건을 유도한다.
• 선형 대수와 정규분포 조건부 분포에만 의존함으로써 계산 효율성을 확보하며, 반복적 또는 복잡한 샘플링 절차를 피한다.

실험 결과

연구 질문

• RQ1 경계 스크리닝 이후에 점근적 근사에 의존하지 않고도 정확한, 유효한 신뢰구간과 가설 검정을 회귀 계수에 대해 구성할 수 있는가?
• RQ2 경계 스크리닝의 선택 절차를 응답 벡터 $ y $ 에 대한 제약 조건의 집합으로(formally) 특성화할 수 있는가? 이를 통해 조건부 추론이 가능해지는가?
• RQ3 선택 조건화 프레임워크는 경계 스크리닝을 넘어서 OMP, NNLS, Lasso와 같은 다른 모델 선택 절차로 얼마나 일반화될 수 있는가?
• RQ4 이 프레임워크를 적용할 때의 계산 비용은 기존의 표준 모델 선택 후 추론 방법보다 어떻게 되며, 초고차원 데이터에 대해 확장 가능한가?
• RQ5 설계 행렬 $ X $ 의 고유값 성질이 열악한 경우에도 선택 편향을 고려한 정확한 커버리지와 제1종 오류 통제를 유지할 수 있는가?

주요 결과

• 제안된 방법은 고차원 설정에서도 보장된 커버리지 확률 $ 1 - \alpha $ 을 갖는 정확한 신뢰구간과 가설 검정을 경계 스크리닝 이후에 구성할 수 있다.
• 이 프레임워크는 점근적이지 않으며 설계 행렬 $ X $ 의 고유값 조건을 필요로 하지 않아, $ X $ 가 악조건이거나 특이행렬일 경우에도 적용 가능하다.
• 추론의 계산 비용은 극히 낮으며, 오직 $ O(np) $ 에 불과하여 Lasso나 기타 정규화 방법이 계산적으로 금기인 대규모 데이터 세트에 매우 효율적이다.
• 선택 조건화 프레임워크는 OMP, 비음수 최소제곱, 경계 스크리닝 + Lasso 등으로 성공적으로 확장되었으며, 선택 사건은 모두 $ y $ 에 대한 선형 제약 조건으로 표현되어 모든 경우에 유효한 추론이 가능하다.
• 기존의 POSI와 같은 접근법보다 보수적인 결과를 피하기 위해 선택된 모델를 정확히 조건으로 삼음으로써 더 강력한 검정과 좁은 신뢰구간을 얻을 수 있다.
• 표본 분할이나 부분 표본 추출 없이도 정확한 추론을 가능하게 하여 통계적 효율성을 유지하고, 표본 분할에 따른 검정력 손실을 방지한다.