[논문 리뷰] Post-selection adaptive inference for Least Angle Regression and the Lasso

Jonathan Taylor, Richard Lockhart외 2명|arXiv (Cornell University)|2014. 01. 16.

Statistical Methods and Inference참고 문헌 1인용 수 36

한 줄 요약

이 논문은 최소각도회귀(LARS)와 라소에 대한 사후 선택 추론 프레임워크를 제안하며, 모형 선택 이후 정확한 조건부 가설 검정과 신뢰구간을 가능하게 한다. 선택 이벤트를 가우시안 응답 벡터 y에 대한 다면체 제약 조건으로 모델링하여, 유한 표본에서 귀무가설 하에서 p-값이 균일하게 분포함을 보장함으로써 정확한 제1종 오류 통제를 보장한다.

ABSTRACT

We propose new inference tools for forward stepwise regression, least angle regression, and the lasso. Assuming a Gaussian model for the observation vector y, we first describe a general scheme to perform valid inference after any selection event that can be characterized as y falling into a polyhedral set. This framework allows us to derive conditional (post-selection) hypothesis tests at any step of forward stepwise or least angle regression, or any step along the lasso regularization path, because, as it turns out, selection events for these procedures can be expressed as polyhedral constraints on y. The p-values associated with these tests are exactly uniform under the null distribution, in finite samples, yielding exact type I error control. The tests can also be inverted to produce confidence intervals for appropriate underlying regression parameters. The R package selectiveInference, freely available on the CRAN repository, implements the new inference tools described in this paper.

연구 동기 및 목표

• 선형 단계별, LARS, 라소 회귀에서 모형 선택 이후 정확한 통계적 추론을 개발하기 위해.
• 선택 이벤트가 데이터에 의존함으로써 표준 빈도주의 가정을 위반하는 조건부 추론의 과제를 다루기 위해.
• 사후 선택 가설 검정에서 표본 수가 유한할 때 정확한 제1종 오류 통제를 확보하기 위해.
• 선택 이후 회귀 계수에 대한 유효한 신뢰구간을 구축하기 위해.
• 실용적 구현을 위해 CRAN에 공개된 R 패키지 selectiveInference를 제공하기 위해.

제안 방법

• 선택 이벤트—예를 들어 LARS나 라소에서의 변수 포함—를 관측 벡터 y에 대한 다면체 제약 조건으로 모델링한다.
• y가 다면체 영역 내에 있을 조건부 분포를 사용하여 검정 통계량의 정확한 표본 분포를 유도한다.
• LARS와 라소에서의 선택은 y가 볼록 다면체 내에 존재함으로써 표현될 수 있으며, 이는 정확한 추론을 가능하게 한다.
• 조건부 p-값은 다면체 영역을 통합하여 유추되며, 이는 귀무가설 하에서 균일성을 보장한다.
• 검정의 역행을 통해 선택된 파라미터에 대한 정확한 신뢰구간을 구축할 수 있다.
• 이 방법은 CRAN에 공개된 R 패키지 selectiveInference를 통해 실용적으로 구현되어 있다.

실험 결과

연구 질문

• RQ1 LARS와 라소에서 변수 선택 이후 정확한 사후 선택 추론을 수행할 수 있는가?
• RQ2 사후 선택 검정에서의 p-값은 유한 표본에서 귀무가설 하에 균일하게 분포하는가?
• RQ3 LARS나 라소를 통해 선택된 회귀 계수에 대해 유효한 신뢰구간을 구축할 수 있는가?
• RQ4 이러한 절차에서의 선택 이벤트는 응답 벡터 y에 대한 다면체 제약 조건으로 어떻게 특징지을 수 있는가?
• RQ5 데이터 기반 모형 선택 이후 정확한 추론을 가능하게 하는 계산 및 통계적 프레임워크는 무엇인가?

주요 결과

• 제안된 방법은 귀무가설 하에서 정확히 균일하게 분포하는 p-값을 생성하여, 표본 수가 유한할 때 제1종 오류 통제를 보장한다.
• LARS와 라소에서의 선택 이벤트는 y가 다면체 영역 내에 존재함으로써 특징지어지며, 이는 정확한 추론을 가능하게 한다.
• 프레임워크는 선택 이후 가설 검정과 신뢰구간 구축을 모두 지원한다.
• 이 방법은 R 패키지 selectiveInference에 구현되어 있어 응용 연구자들에게 접근 가능하다.
• 테스트에 사용된 데이터와 동일한 데이터 기반으로 모형이 선택된 경우에도 유효한 추론을 제공하여, 적응적 추론의 핵심 과제를 해결한다.
• 이 프레임워크는 y에 대한 다면체 제약 조건으로 표현될 수 있는 모든 선택 절차에 일반적으로 적용 가능하다.