[논문 리뷰] Exact Post-selection Inference for Forward Stepwise and Least Angle Regression

Jonathan Taylor, Richard Lockhart외 2명|arXiv (Cornell University)|2014. 01. 16.

Statistical Methods and Inference참고 문헌 15인용 수 30

한 줄 요약

이 논문은 다각형 선택 이벤트 이후의 일반적인 조건부 추론 프레임워크를 활용하여 전진 단계 선택 및 최소 제곱 각도 회귀에 대한 정확한 사후 선택 추론 방법을 제안한다. 이는 유한 표본에서 검정 통계량에 대한 정확한 귀무분포를 도출함으로써 정확한 유형 I 오류 제어를 보장하고, 정확한 p-값 및 회귀 계수에 대한 신뢰구간을 가능하게 한다.

ABSTRACT

In this paper we propose new inference tools for forward stepwise and least angle regression. We first present a general scheme to perform valid inference after any selection event that can be characterized as the observation vector y falling into some polyhedral set. This framework then allows us to derive conditional (post-selection) hypothesis tests at any step of the forward stepwise and least angle regression procedures. We derive an exact null distribution for our proposed test statistics in finite samples, yielding p-values with exact type I error control. The tests can also be inverted to produce confidence intervals for appropriate underlying regression parameters. Application of this framework to general likelihood-based regression models (e.g., generalized linear models and the Cox model) is also discussed.

연구 동기 및 목표

• 전진 단계 선택 및 최소 제곱 각도 회귀에서 모델 선택 이후에 유효한 통계적 추론을 개발하기 위해.
• 전통적 방법이 선택 편향으로 인해 실패하는 사후 선택 추론의 과제를 해결하기 위해.
• 선택 이벤트 하에서 검정 통계량에 대한 정확한 유한 표본 귀무분포를 제공하기 위해.
• 일반적인 우도 기반 모델, 예를 들어 일반화선형모형 및 코ックス 모델과 같은 모델로 프레임워크를 확장하기 위해.
• 선택 이후 회귀 계수에 대한 신뢰구간을 구성하기 위해.

제안 방법

• 프레임워크는 선택 이벤트를 관측 벡터 y가 다각형 집합에 속하는 것으로 특성화한다.
• 관측된 선택 이벤트를 조건으로 삼는 조건부 추론을 사용하며, y ∈ P인 다각형 P를 조건으로 삼는다.
• 선택 이벤트가 발생한 하에서 귀무가설 하에서 검정 통계량의 정확한 유한 표본 분포를 도출한다.
• 이를 전진 단계 선택 및 최소 제곱 각도 회귀에 적용하여, 어떤 선택 단계에서든 정확한 p-값을 가능하게 한다.
• 이 방법은 테스트의 역행을 통해 선택된 회귀 계수에 대한 정확한 신뢰구간을 구성할 수 있도록 한다.
• 프레임워크는 일반적인 우도 기반 모델로 확장되며, 일반화선형모형 및 코ックス 비례위험모형을 포함한다.

실험 결과

연구 질문

• RQ1 전진 단계 선택 회귀에 대해 정확한 사후 선택 추론을 수행하고 정확한 유형 I 오류 제어를 확보할 수 있는가?
• RQ2 동일한 프레임워크를 최소 제곱 각도 회귀에 적용할 수 있으며, 유한 표본 보장을 갖는가?
• RQ3 다각형 집합으로 정의된 선택 이벤트 이후의 검정 통계량에 대해 정확한 p-값을 어떻게 도출할 수 있는가?
• RQ4 선택된 회귀 계수에 대해 선택 조건 하에서 정확한 포함률을 갖는 신뢰구간을 구성할 수 있는가?
• RQ5 이 프레임워크는 일반선형모형 및 코ックス 모델과 같은 우도 기반 모델로 얼마나 광범위하게 일반화될 수 있는가?

주요 결과

• 제안된 프레임워크는 정확한 귀무분포를 정확한 표본 크기에서 도출하여 정확한 유형 I 오류 제어를 보장한다.
• 이 방법은 전진 단계 선택 및 최소 제곱 각도 회귀에서 어떤 선택 단계에서든 유효한 p-값을 제공한다.
• 제안된 테스트의 역행을 통해 선택된 회귀 계수에 대한 정확한 신뢰구간을 구성할 수 있다.
• 프레임워크는 일반적인 우도 기반 모델로 확장 가능하며, 일반화선형모형 및 코ックス 모델을 포함한다.
• 이 방법은 다양한 선택 절차에 걸쳐 사후 선택 추론을 위한 통합된 방법을 제공한다.
• 이 방법은 다각형 선택 이벤트를 조건으로 삼아, 점근적 근사 없이 정확한 추론을 가능하게 한다.