[논문 리뷰] Unifying approach to selective inference with applications to cross-validation

Jelena Markovic, Lucy Xia외 1명|arXiv (Cornell University)|2017. 03. 20.

Fault Detection and Control Systems인용 수 9

한 줄 요약

이 논문은 모델 선택 절차(예: 교차검증 라소와 AIC 기반 선택)에 대해 유효한 사후 선택 추론을 위한 통합 프레임워크를 제안한다. 이는 모델 품질 점수와 검정 통계량의 渐近적 복합정규분포를 활용하며, 필요에 따라 가우시안 랜덤라이제이션을 도입하여 이 정규성 확보를 돕는다. 이를 통해 점근적으로 균일한 p-값과 유효한 신뢰구간을 갖는 편의성 있는 추론이 가능해진다.

ABSTRACT

We develop tools to do valid post-selective inference for a family of model selection procedures, including choosing a model via cross-validated Lasso. The tools apply universally when the following random vectors are jointly asymptotically multivariate Gaussian: 1. the vector composed of each model's quality value evaluated under certain model selection criteria (e.g. cross-validation errors across folds, AIC, prediction errors etc.) 2. the test statistics from which we make inference on the parameters; it is worth noting that the parameters here are chosen after model selection methods are performed. Under these assumptions, we derive a pivotal quantity that has an asymptotically Unif(0,1) distribution which can be used to perform tests and construct confidence intervals. Both the tests and confidence intervals are selectively valid for the chosen parameter. While the above assumptions may not be satisfied in some applications, we propose a novel variation to these model selection procedures by adding Gaussian randomizations to either one of the two vectors. As a result, the joint distribution of the above random vectors is multivariate Gaussian and our general tools apply. We illustrate our method by applying it to four important procedures for which very few selective inference results have been developed: cross-validated Lasso, cross-validated randomized Lasso, AIC-based model selection among a fixed set of models and inference for a newly introduced novel marginal LOCO parameter, inspired by the LOCO parameter of Rinaldo et al (2016); and we provide complete results for these cases. For randomized model selection procedures, we develop Markov chain Monte Carlo sampling scheme to construct valid post-selective confidence intervals empirically.

연구 동기 및 목표

• 교차검증과 AIC 기반 선택과 같은 모델 선택 절차를 고려한 일반적이고 재사용 가능한 사후 선택 추론 프레임워크 개발.
• 표준 점근적 정규성 가정이 실패하는 복잡한 선택 절차(예: 교차검증 라소)에 대해 유효한 추론 도구의 부재를 해결.
• 공동 점근적 정규성이 만족되지 않을 경우, 모델 품질 점수 또는 검정 통계량에 가우시안 랜덤라이제이션을 도입하여 선택 추론의 타당성을 확보.
• 모델 선택에 따라 결정되는 새로운 매개수인 단일 로코 매개수에 대한 추론을 가능하게 하기 위해 프레임워크를 확장.
• 랜덤라이제이션된 모델 선택 설정에서 유효한 신뢰구간을 실증적으로 구성하기 위한 방법, 예를 들어 MCMC 샘플링 제공.

제안 방법

• 이 방법은 두 개의 난수 벡터의 점근적 복합다변수정규분포에 기반한다: (1) 모델 품질 점수(예: 교차검증 오차), (2) 선택된 매개수에 대한 검정 통계량.
• 공동 정규성 가정이 실패할 경우, 품질 점수 벡터 또는 검정 통계량 벡터에 작은 가우시안 랜덤라이제이션을 도입하여 점근적 정규성을 유도한다.
• 랜덤라이제이션은 모델 선택 결과에 영향을 주지 않도록 설계되어 선택 성질을 유지하면서도 추론을 가능하게 한다.
• 귀무하나에서 점근적으로 균일한 (0,1) 분포를 따르는 편의성 통계량을 유도하여 선택 조건부 유효한 p-값과 신뢰구간을 가능하게 한다.
• 랜덤라이제이션 절차에 대해서는, 사후 선택 신뢰구간을 실증적으로 구성하기 위해 마르코프 체인 몬테카를로(MCMC) 샘플링 기법을 개발한다.
• 프레임워크는 네 가지 사례에 적용된다: 교차검증 라소, 교차검증 랜덤라이제이션 라소, AIC 기반 모델 선택, 그리고 새로운 단일 로코 매개수에 대한 추론.

실험 결과

연구 질문

• RQ1 교차검증과 AIC를 포함한 다양한 모델 선택 절차에 대해 하나의 일반적 프레임워크를 개발할 수 있는가?
• RQ2 모델 품질 점수와 검정 통계량의 공동 분포가 점근적으로 다변수정규분포가 아닐 경우, 어떻게 유효한 추론을 수행할 수 있는가?
• RQ3 모델 품질 점수 또는 검정 통계량에 가우시안 랜덤라이제이션을 추가할 경우, 추론의 타당성과 효율성에 어떤 영향을 미치는가?
• RQ4 이 프레임워크는 기존 추론 도구가 없는 새로운 매개수인 단일 로코 매개수로 확장될 수 있는가?
• RQ5 결과로 도출된 신뢰구간과 p-값은 표준 데이터 분할 방법과 비교해 복개율과 길이 측면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 점근적으로 (0,1) 구간에서 균일하게 분포하는 편의성 통계량을 생성하여, 선택 조건부 유효한 선택 가설 검정과 신뢰구간을 가능하게 한다.
• 교차검증 라소의 경우, 선택 이벤트가 복잡하더라도 교차검증을 통한 모델 선택 이후 선택된 계수에 대해 유효한 추론이 가능하다.
• 품질 점수 벡터 또는 검정 통계량에 가우시안 랜덤라이제이션을 추가함으로써 공통 점근적 정규성을 확보하여, 이 프레임워크를 보편적으로 적용할 수 있다.
• 시뮬레이션 결과, 데이터 커팅 기반의 커프드 신뢰구간(평균 길이 0.18)은 분할 기반의 구간(0.34)보다 훨씬 짧았고, 복개율은 유사하게 유지되었다(91% 대 92%).
• 이 논문에서 소개된 새로운 매개수인 단일 로코 매개수에 대해 유효한 p-값을 생성하였으며, 이에 대한 이전 추론 도구는 존재하지 않았다.
• MCMC 샘플링 기법은 랜덤라이제이션된 모델 선택 절차에 대해 유효한 사후 선택 신뢰구간을 실증적으로 구성하는 데 기여한다.