[논문 리뷰] Optimal Inference After Model Selection

William Fithian, Dennis L. Sun외 1명|arXiv (Cornell University)|2014. 10. 09.

Statistical Methods and Inference참고 문헌 51인용 수 227

한 줄 요약

이 논문은 모형 선택 조건 하에서 유형 I 오류율을 통제하는 선택적 추론 방법을 제안하며, 적응적 모형 선택 이후에도 유효한 통계적 추론을 보장한다. 지수족에서 고전적 최적 검정 이론을 활용하여 가장 강력한 비편향 검정 및 신뢰구간을 도출하며, 기존 방법보다 유의력이 높은 새로운 선택적 z-검정 및 t-검정을 포함한 선형 회귀에 적용 가능한 방법을 개발한다. 이는 유의력은 유지하면서도 기존 방법보다 더 높은 검정력을 확보한다.

ABSTRACT

To perform inference after model selection, we propose controlling the selective type I error; i.e., the error rate of a test given that it was performed. By doing so, we recover long-run frequency properties among selected hypotheses analogous to those that apply in the classical (non-adaptive) context. Our proposal is closely related to data splitting and has a similar intuitive justification, but is more powerful. Exploiting the classical theory of Lehmann and Scheffé (1955), we derive most powerful unbiased selective tests and confidence intervals for inference in exponential family models after arbitrary selection procedures. For linear regression, we derive new selective z-tests that generalize recent proposals for inference after model selection and improve on their power, and new selective t-tests that do not require knowledge of the error variance.

연구 동기 및 목표

• 적응적 모형 선택 이후 기존 방법이 선택 유도 편향으로 인해 실패하는 바람에 발생하는 유효하지 않은 추론 문제를 해결하기 위해.
• 선택된 가설에 대해 검정을 수행했을 때의 가짜 기각 확률로 정의되는 선택적 유형 I 오류율을 체계적으로 정의하고 통제하기 위해.
• 임의의 선택 절차 이후 지수족 모형에서 최적의 강력하고 유효한 추론 절차를 개발하기 위해.
• 데이터 분할 및 기존의 선택적 추론 방법보다 검정력을 극대화하면서도 오류율 통제를 유지하기 위해.
• 질문이 제기된 이후에도 유효한 일반적 프레임워크를 제공하여 적응적 환경에서 장기 빈도 성질을 복원하기 위해.

제안 방법

• 선택된 가설에 대해 귀무가설을 기각할 확률로 정의되는 선택적 유형 I 오류율을 통제하는 방법을 제안한다.
• 레만과 스페프(1955)의 고전적 이론을 적용하여 선택 조건 하에서 지수족 모형에 대한 가장 강력한 비편향 검정을 유도한다.
• 기존 방법보다 검정력이 뛰어난 선형 회귀에 대한 새로운 선택적 z-검정을 유도한다.
• 오차 분산에 대한 사전 지식이 필요 없는 선택적 t-검정을 도입하여 실용적 적용성을 높인다.
• 선택 데이터에서 남은 정보를 활용함으로써 데이터 분할을 초월하는 데이터 캐빙 기법을 사용한다.
• 선택된 모형 조건 하에서 추론을 수행하고, 조건부 분포를 사용하여 유효한 커버리지와 오류율을 확보한다.

실험 결과

연구 질문

• RQ1 가설 선택이 데이터에 의존할 경우, 통계적 추론에서 오류율을 어떻게 정의하고 통제할 수 있는가?
• RQ2 적응적 추론에서 적절한 오류율은 무엇이며, 고전적 유형 I 오류와 어떻게 다를 수 있는가?
• RQ3 임의의 모형 선택 절차 이후에도 강력하고 유효한 최적의 검정을 유도할 수 있는가?
• RQ4 데이터 분할 및 기존의 선택적 추론 방법보다 검정력과 효율성 측면에서 어떻게 개선할 수 있는가?
• RQ5 조건부 처리가 선택 이후 유효한 추론을 보장하는 데 어떤 역할을 하는가? 그리고 이를 효율적으로 구현하는 방법은 무엇인가?

주요 결과

• 선택된 가설에 대해 기각 확률로 정의되는 선택적 유형 I 오류율은 모형 선택 이후 추론에 대해 자연스럽고 타당한 기준이다.
• 제안된 방법은 이 오류율을 수준 α에서 통제하여 고전적 추론과 유사한 장기 빈도 성질을 보장한다.
• 선형 회귀의 경우, 새로운 선택적 z-검정은 기존 방법보다 더 높은 검정력을 보이며 동시에 유효한 오류 통제를 유지한다.
• 오차 분산에 대한 지식이 필요 없는 선택적 t-검정을 도출하여 실제 응용에 더 실용적이게 되었다.
• 선택 데이터 세트에서 정보를 활용함으로써 데이터 캐빙 기법이 데이터 분할보다 더 높은 검정력을 보임을 입증하였다.
• 이론적 결과는 FWER 통제가 선택적 오류율 통제를 의미하지 않음을 보여주며, 적응적 환경에서 선택적 오류율 통제의 필요성을 강조한다.