[논문 리뷰] Exact Post-Selection Inference for Sequential Regression Procedures

Ryan J. Tibshirani, Jonathan Taylor외 2명|arXiv (Cornell University)|2014. 01. 16.

Statistical Methods and Inference참고 문헌 17인용 수 53

한 줄 요약

이 논문은 전진 단계 선택, 최소 제곱 각도 회귀(LAR), 그리고 라소와 같은 순차적 회귀 절차에 대한 정확한 사후 선택 추론 방법을 소개한다. 선택 사건을 반응 벡터 $ y $ 위의 다면체 제약 조건으로 모델링함으로써, 조건부 추론을 통해 유한 표본에서 유효한 p값과 신뢰구간을 유도한다. 이는 귀무가설 하에서 정확한 제1종 오류 통제를 보장한다. 주요 기여는 모델 선택 이후 엄밀한 통계적 추론을 가능하게 하는 프레임워크를 제공하는 것으로, R 패키지 selectiveInference에 구현되어 있다.

ABSTRACT

We propose new inference tools for forward stepwise regression, least angle regression, and the lasso. Assuming a Gaussian model for the observation vector <i>y</i>, we first describe a general scheme to perform valid inference after any selection event that can be characterized as <i>y</i> falling into a polyhedral set. This framework allows us to derive conditional (post-selection) hypothesis tests at any step of forward stepwise or least angle regression, or any step along the lasso regularization path, because, as it turns out, selection events for these procedures can be expressed as polyhedral constraints on <i>y</i>. The <i>p</i>-values associated with these tests are exactly uniform under the null distribution, in finite samples, yielding exact Type I error control. The tests can also be inverted to produce confidence intervals for appropriate underlying regression parameters. The R package selectiveInference, freely available on the CRAN repository, implements the new inference tools described in this article. Supplementary materials for this article are available online.

연구 동기 및 목표

• 탐욕적 변수 선택으로 인해 발생하는 유효하지 않은 p값 문제를 해결하기 위해.
• 선택 사건을 고려한 유한 표본 설정에서 정확한 사후 선택 추론을 위한 일반적 프레임워크를 개발하기 위해.
• 전진 단계 선택, LAR, 라소 이후 회귀 계수에 대해 유효한 p값과 신뢰구간을 제공하기 위해.
• 선형 모델을 초월하여 사후 선택 추론의 범위를 넓히되, 예측 변수나 진짜 모델의 선형성에 대해 강한 가정이 필요 없도록 하기 위해.
• 실제 통계 분석에서 활용할 수 있도록 접근성이 높은 R 패키지로 프레임워크를 구현하기 위해.

제안 방법

• 선택 사건(예: 각 단계에서 어떤 변수가 포함되는지)을 반응 벡터 $ y $ 위의 다면체 제약 조건으로 모델링한다.
• 선택 규칙에서 유도된 특정한 다면체 집합 내에 $ y $ 가 존재한다는 조건부 추론을 사용한다.
• 전체 활성 집합을 단계 $ k $ 까지 조건부로 고려함으로써 정확한 제1종 오류 통제를 보장한다.
• 전진 단계 선택과 LAR의 경우, 선택 조건부에서 검정 통계량의 분포를 기반으로 잘린 정규분포(TG) 검정 통계량을 유도한다.
• 공분산 검정과 渐近적으로 동일하지만, 표본 크기에서 유효한 유한 표본 성질을 지닌 계산 효율성이 높은 간격 검정을 도입한다.
• 설계 행렬 $ X $ 나 진짜 모델이 선형인지에 대한 가정이 필요 없으며, 오직 정규 오차만 요구된다.

실험 결과

연구 질문

• RQ1 탐욕적 선택 과정을 고려할 때, 전진 단계 선택 회귀에서 선택된 회귀 계수에 대해 유효한 p값을 구성할 수 있는가?
• RQ2 반응 벡터 $ y $ 에서 선택 사건이 다면체임을 감안할 때, LAR와 라소에서 선택 후 정확한 추론을 어떻게 수행할 수 있는가?
• RQ3 모델 선택 이후 검정 통계량의 유한 표본 분포는 무엇이며, 이를 통해 제1종 오류를 어떻게 통제할 수 있는가?
• RQ4 제안된 TG 검정과 간격 검정은 기존의 공분산 검정과 비교해 유효성과 검정력 측면에서 어떻게 다른가?
• RQ5 이 프레임워크는 본 연구에서 다룬 절차 이외의 다른 순차적 선택 절차로 일반화될 수 있는가?

주요 결과

• 제안된 잘린 정규분포(TG) 검정은 유한 표본에서 귀무가설 하에 정확히 균일한 p값을 생성하여, 전진 단계 선택과 LAR에서 정확한 제1종 오류 통제를 보장한다.
• 프로스타트 암 데이터 예제에서, 단순 t검정은 유의미한 변수 4개를 식별했지만, TG 검정은 이를 2개로 줄여 선택 편향을 수정했다.
• LAR에 대한 간격 검정은 Lockhart 등(2014)의 공분산 검정과 渐近적으로 동일하지만, 표본 크기에서 유효성과 분포 가정이 없이 적용 가능하다.
• 전진 단계 선택 회귀에 대한 TG 검정은 이전의 모든 선택 사건을 조건부로 고려하지만, max-|t|-검정은 이를 고려하지 않아 후속 단계에서 보수적인 편향을 초래한다.
• 이 방법은 CRAN에 공개된 R 패키지 selectiveInference에 구현되어 있으며, 파이썬 버전도 제공된다.
• 이론적 결과에 따르면, 규칙성 조건 하에서 간격 검정의 로그-p값은 척도가 조정된 카이제곱분포로 수렴하여 공분산 검정과의 渐近적 동등성을 뒷받침한다.