[논문 리뷰] A significance test for forward stepwise model selection

Joshua R. Loftus, Jonathan Taylor|arXiv (Cornell University)|2014. 05. 15.

Statistical Methods and Inference참고 문헌 4인용 수 36

한 줄 요약

이 논문은 전진 단계적 모델 선택에서 데이터 의존적 선택 후에도 정확한 p-값을 제공하는 유의성 검정 $T\chi$ 를 소개한다. 이는 전역 귀무가설 하에서 정확한 p-값을 보장하며, 데이터 분할 없이도 타당한 추론이 가능하게 한다. 이 방법은 각 단계에서 이 검정을 반복 적용하고 잔차를 직교화함으로써, 상관관계가 있거나 그룹화된 변수를 선택할 경우 기존 $\chi^2$ 검정보다 유의수준 제어에서 뛰어난 성능을 보인다.

ABSTRACT

We apply the methods developed by Lockhart et al. (2013) and Taylor et al. (2013) on significance tests for penalized regression to forward stepwise model selection. A general framework for selection procedures described by quadratic inequalities includes a variant of forward stepwise with grouped variables, allowing us to handle categorical variables and factor models. We provide an algorithm to compute a new statistic with an exact null distribution conditional on the outcome of the model selection procedure. This new statistic, which we denote $Tχ$, has a truncated $χ$ distribution under the global null. We apply this test in forward stepwise iteratively on the residual after each step. The resulting method has the computational strengths of stepwise selection and addresses the problem of invalid test statistics due to model selection. We illustrate the flexibility of this method by applying it to several specialized applications of forward stepwise including a hierarchical interactions model and a recently described additive model that adaptively chooses between linear and nonlinear effects for each variable.

연구 동기 및 목표

• 데이터 의존적 모델 선택으로 인해 유효하지 않은 p-값이 발생하는 전진 단계적 회귀 분석 문제를 해결하기 위해.
• 유의수준 제어를 유지하면서도 계산 효율성이 높은 모델 선택 후 유의성 검정 방법을 개발하기 위해.
• 그룹화된 변수와 계층적 모델(상호작용 및 덧셈 모델 포함)으로의 후선별 추론을 확장하기 위해.
• 선택과 추론에 동일한 데이터를 사용하는 경우에도 유효한 남아 있는 반복적 유의성 검정 프레임워크를 제공하기 위해.
• 잡음 변수가 선택될 경우 표준 $\chi^2$ 검정보다도 거짓 발견률 제어에서 뛰어난 성능을 보이는가를 입증하기 위해.

제안 방법

• 전역 귀무가설 하에서 정확한 절단된 $\chi$ 분포를 가지는 새로운 검정 통계량 $T\chi$ 를 제안하며, 이는 모델 선택 결과에 조건부로 한다.
• 이전에 선택된 변수에 대해 반응변수와 예측변수를 직교화함으로써, 각 전진 단계에서 이 검정을 반복 적용한다.
• 그룹화된 변수와 요인 모델을 다룰 수 있는 일반적 프레임워크를 제안하며, 이는 범주형 예측변수에 대한 추론을 가능하게 한다.
• 선택 절차를 고려한 조건부 분포 접근법을 사용하여, 데이터 분할이나 교차검증이 필요 없도록 한다.
• Lockhart 등(2013)과 Taylor 등(2013)의 방법을 전진 단계적 설정에 적응시켜 반복 선택으로 확장한다.
• 선택 기반의 $T\chi$ p-값에 기반한 멈춤 기준을 구현하며, 성능은 시뮬레이션과 실제 HIV 약물 내성 데이터셋을 통해 평가된다.

실험 결과

연구 질문

• RQ1 선택과 추론에 동일한 데이터를 사용하는 경우에도, 전진 단계적 모델 선택 이후에도 유효한 유의성 검정을 구성할 수 있는가?
• RQ2 잡음 변수가 선택될 경우, $T\chi$ 검정은 표준 $\chi^2$ 검정보다 어떻게 유의수준 제어를 개선하는가?
• RQ3 이 방법은 다수의 수준을 가진 범주형 예측변수와 같은 그룹화된 변수를 다룰 수 있는가?
• RQ4 전역 귀무가설 검정을 반복 적용할 경우, 다중 선택 단계에서 p-값이 여전히 유효한가?
• RQ5 $T\chi$ 기반 멈춤 기준은 참으로 관련성이 있는 예측변수를 식별하는 데 얼마나 효과적인가? 동시에 거짓 발견을 최소화하는가?

주요 결과

• 10개의 범주형 예측변수를 가진 시뮬레이션에서, 마지막 진짜 예측변수가 선택된 후 $T\chi$ p-값은 증가하는 반면, $\chi^2$ p-값은 여전히 반보수적(anti-conservative)이었다.
• $T\chi$ 검정은 첫 두 진짜 예측변수(X1 및 X9)에 대해 p-값 0.00을 기록하여 정확하게 유의미한 것으로 식별했다.
• 전진 단계적 선택과 $T\chi$ p-값을 계산하는 데 0.022초가 소요되었으며, M=200일 때 정확한 p-값의 몬테카를로 추정치를 계산하는 데 0.235초가 소요된 것과 비교해 매우 효율적이었다.
• HIVdb PI 데이터셋에서 $T\chi$ 기반 멈춤 기준은 X3TC에 대해 9개, ABC에 대해 17개, AZT에 대해 39개의 변수를 선택했으며, 약물 간 일관성이 있었다.
• 쌍별 상호작용을 포함한 Glinternet 모델에서, 이 방법은 APV에 대해 29개, ATV에 대해 14개의 변수를 선택하여 생물학적으로 의미 있는 상호작용를 포착했다.
• $T\chi$ p-값은 마지막 진짜 예측변수가 선택된 후 균일분포보다 확률적으로 더 큰 경향을 보였으며, 이는 적절한 유의수준 제어를 의미한다. 반면 $\chi^2$ p-값은 여전히 작았으며, 이는 잘못된 제어를 의미한다.