[논문 리뷰] Selective inference after cross-validation

Joshua R. Loftus|arXiv (Cornell University)|2015. 11. 28.

Statistical Methods and Inference참고 문헌 3인용 수 19

한 줄 요약

이 논문은 교차검증을 통해 선택된 모델에 대한 선택적 추론 프레임워크를 제안하며, 모델 선택 과정에서 이차 제약 조건을 활용하여 선택된 변수에 대한 타당한 가설 검정을 가능하게 한다. 이는 오차 분산 σ²의 지식이 없더라도, 선택 이벤트를 조건부로 하여 잘라낸 근본 분포를 사용함으로써, Lasso 및 전진 단계 회귀 모델에서 선택된 계수에 대해 타당한 p값과 신뢰구간을 제공한다.

ABSTRACT

This paper describes a method for performing inference on models chosen by cross-validation. When the test error being minimized in cross-validation is a residual sum of squares it can be written as a quadratic form. This allows us to apply the inference framework in Loftus et al. (2015) for models determined by quadratic constraints to the model that minimizes CV test error. Our only requirement on the model training pro- cedure is that its selection events are regions satisfying linear or quadratic constraints. This includes both Lasso and forward stepwise, which serve as our main examples throughout. We do not require knowledge of the error variance $σ^2$. The procedures described here are computationally intensive methods of selecting models adaptively and performing inference for the selected model. Implementations are available in an R package.

연구 동기 및 목표

• 교차검증을 통한 모델 선택 이후 타당한 통계적 추론을 위한 방법을 개발하는 것. 이는 널리 사용되지만 이전에는 공식적인 추론 프레임워크가 없었던 분야이다.
• Loftus 등(2015)의 선택적 추론 프레임워크를 교차검증 기반 모델 선택 절차, 특히 잔차 제곱합을 최소화하는 경우에까지 확장하는 것.
• 모델 복잡도가 교차검증을 통해 적응적으로 선택된 고차원 모델에서 선택된 계수에 대한 가설 검정을 가능하게 하는 것.
• 모델 선택 편향 하에서 유의수준 제어를 유지하는 이론적으로 타당하지만 계산적으로 비용이 많이 드는 접근법을 제공하는 것.
• 오차 분산 σ²의 사전 지식이 없더라도 Lasso 및 전진 단계 회귀에 대해 추론을 지원하는 것.

제안 방법

• 교차검증 선택 이벤트를 이차 제약 조건으로 모델링하여, Loftus 및 Taylor(2015)의 선택적 추론 프레임워크를 활용한다.
• 응답 벡터 y를 포함하는 이차 부등식의 교차로 모델 선택 영역을 표현함으로써, 추론에 유용한 기하학적 구조를 확보한다.
• 각 선택된 모델에 대해, 선택 이벤트를 조건부로 하고 검정 통계량(예: t, χ², F)의 근본 분포를 모델 선택 영역으로 잘라내어 p값을 계산한다.
• 이 방법은 Lasso 및 전진 단계 회귀를 모두 다루며, 조정 파rameter λ가 교차검증을 통해 선택된 경우에도 그 선택 이벤트를 이차 제약 조건으로 표현할 수 있다.
• σ²의 지식이 없을 경우, 선택적 t 또는 F 검정을 사용하거나 교차검증 기반 방법으로 σ를 추정함으로써 이를 보완한다.
• 이 프레임워크는 R 패키지로 구현되어 있으며, 제곱오차 손실을 기반으로 한 K-폴드 교차검증을 통해 선택된 모델에 대한 추론을 지원한다.

실험 결과

연구 질문

• RQ1 모델 복잡도가 적응적으로 선택된 상황에서, 교차검증을 통해 선택된 회귀 계수에 대해 타당한 통계적 추론을 수행할 수 있는가?
• RQ2 고정된 조정 파rameter가 아닌 교차검증에 의존하는 모델 선택 절차에 대해 선택적 추론 프레임워크를 어떻게 확장할 수 있는가?
• RQ3 오차 분산 σ²의 지식이 없을 경우 교차검증 이후 추론에 어떤 영향을 미치며, 이를 선택적 추론 프레임워크 내에서 어떻게 다룰 수 있는가?
• RQ4 모델이 교차검증을 통해 선택된 경우, 유한 표본에서 이 방법이 얼마나 잘 유의수준 제어 및 검정력 제어를 유지하는가?
• RQ5 교차검증 선택 이벤트의 이차 제약 조건 구조를 활용하여 선택된 모델에 대해 정확한 p값과 신뢰구간을 유도할 수 있는가?

주요 결과

• 시뮬레이션을 통해 전역 근본가설 하에서 p값의 경험적 누적분포함수를 분석한 결과, 근본 계수에 대해 타당한 유의수준 제어가 유지됨을 확인하였다.
• 진짜 비영계수를 가진 시뮬레이션에서는 합리적인 검정력을 보였으며, 실제로 비영인 계수에 대해 p값이 작고 근본가설 하에서 잘 분포되어 있었다.
• 이 프레임워크는 Lasso 및 전진 단계 회귀에 모두 적용 가능하며, 모델 선택 이벤트는 응답 벡터에 대한 이차 제약 조건으로 표현될 수 있다.
• 이 방법은 σ²의 지식이 필요 없으며, 선택적 t 또는 F 검정을 사용하거나 교차검증 기반 추정치를 삽입할 수 있다.
• 이론적으로 복잡한 이차 선택 영역의 기하학적 성질로 인해 계산이 비용이 많이 들지만, 향후 R 패키지 릴리스에 최적화 기법이 계획되어 있다.
• 이 논문은 잔차 제곱합을 최소화하는 교차검증 선택이 이차 제약 조건으로 표현될 수 있음을 입증하며, 기존의 선택적 추론 이론의 활용을 가능하게 하였다.