[논문 리뷰] Constructing confidence sets after lasso selection by randomized estimator augmentation

Seunghyun Min, Qing Zhou|arXiv (Cornell University)|2019. 04. 16.

Statistical Methods and Inference참고 문헌 15인용 수 4

한 줄 요약

이 논문은 라소 선택 이후 유효한 동시 신뢰집합을 구성하기 위한 새로운 방법을 제안한다. 랜덤라이즈드 추정량 보정과 라소 활성 집합 조건부 분포에서의 마르코프 체인 몬테카를로(MCMC) 샘플링을 활용한다. 평균 벡터 추정치에 대한 랜덤라이제이션을 통합함으로써, 보장된 커버리지와 함께 정확하고 낮은 부피의 신뢰집합을 가능하게 하며, 최신 기법들보다 커버리지와 효율성 면에서 뛰어나다.

ABSTRACT

Although a few methods have been developed recently for building confidence intervals after model selection, how to construct confidence sets for joint post-selection inference is still an open question. In this paper, we develop a new method to construct confidence sets after lasso variable selection, with strong numerical support for its accuracy and effectiveness. A key component of our method is to sample from the conditional distribution of the response $y$ given the lasso active set, which, in general, is very challenging due to the tiny probability of the conditioning event. We overcome this technical difficulty by using estimator augmentation to simulate from this conditional distribution via Markov chain Monte Carlo given any estimate $ ildeμ$ of the mean $μ_0$ of $y$. We then incorporate a randomization step for the estimate $ ildeμ$ in our sampling procedure, which may be interpreted as simulating from a posterior predictive distribution by averaging over the uncertainty in $μ_0$. Our Monte Carlo samples offer great flexibility in the construction of confidence sets for multiple parameters. Extensive numerical results show that our method is able to construct confidence sets with the desired coverage rate and, moreover, that the diameter and volume of our confidence sets are substantially smaller in comparison with a state-of-the-art method.

연구 동기 및 목표

• 데이터 기반의 라소 모델 선택 이후 다중 매개변수에 대한 동시 신뢰집합을 구성하는 데 있어 열려 있는 문제를 해결하기 위해.
• 고차원에서 매우 낮은 확률을 가지는 라소 활성 집합 조건부 분포에서의 샘플링이라는 계산적 과제를 극복하기 위해.
• 유효한 커버리지 유지와 함께 신뢰집합 부피 최소화를 동시에 달성하는 유연하고 확장 가능한 후선별 추론 프레임워크를 개발하기 위해.
• 선택된 변수의 임의의 부분집합에 대한 동시 추론으로부터 개인 매개변수 추론을 넘어서기 위해.
• 랜덤라이제이션을 통한 평균 추정치의 불확실성 평균화 방식으로, Lee 등(2016)과 같은 기존 기법들에 비해 수치적 안정성과 효율성을 향상시키기 위해.

제안 방법

• 라소 활성 집합 $ A $ 조건부에서 반응 변수 $ y $ 의 조건부 분포를 시뮬레이션하기 위해 추정량 보정을 사용하며, 이는 복잡한 제약 조건 하에서 MCMC 샘플링을 가능하게 한다.
• 이중 단계 MCMC 절차를 적용한다: 먼저 고정된 추정치 $ ilde{ u} $ 와 함께 $ y $ 의 조건부 분포에서 샘플링을 수행하고, 이후 $ ilde{ u} $ 에 대한 랜덤라이제이션을 통해 사후 예측 분포를 근사한다.
• 추정된 평균 $ ilde{ u} $ 에 대한 랜덤라이제이션 단계를 도입함으로써 $ u_0 $ 의 불확실성에 대한 평균화가 가능해져, 강건성과 커버리지가 향상된다.
• 공동 조건부 분포에서의 몬테카를로 샘플을 활용하여, 선택된 매개변수의 임의의 부분집합 $ u_B $ 에 대한 민감한 추론이 가능한 동시 신뢰집합을 구성한다.
• 라소 활성 집합과 변수 선택 임계값에 의해 유도되는 다각형 제약 조건을 고려한 특화된 제안을 사용하는 메트로폴리스-해스팅스 알고리즘을 적용한다.
• MCMC 동안 변수 활성 집합의 변화를 처리하기 위해 계수에 대해 截斷 정규 분포 제안을 사용하고, 활성 집합 $ ilde{eta}_j $ 를 동적으로 재구성한다.

실험 결과

연구 질문

• RQ1 활성 집합이 데이터 기반이고 고차원일 경우, 라소 선택 이후 유효한 동시 신뢰집합을 구성할 수 있는가?
• RQ2 고차원에서 매우 낮은 확률을 가지는 라소 활성 집합 조건부 분포에서 효율적으로 샘플링할 수 있는가?
• RQ3 랜덤라이즈드 추정량 보정이 기존 기법들에 비해 수치적 안정성과 효율성을 향상시킬 수 있는가?
• RQ4 제안된 방법이 Lee 등(2016)과 같은 최신 기법들보다 더 우수한 커버리지와 더 작은 부피의 신뢰집합을 제공하는가?
• RQ5 이 방법은 그룹 구조나 라소가 아닌 선택 절차로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 $ p > n $ 의 고차원 설정에서도 명목상의 커버리지 비율을 달성한다.
• 수치 결과에 따르면, Lee 등(2016)이 생성한 것보다도 신뢰집합의 지름과 부피가 상당히 작아 정밀도가 향상됨을 보여준다.
• 선택된 모델이 참 모델이 아니더라도, 참 모형을 가정하지 않고 활성 집합에 조건부로 설정함으로써 유효한 커버리지를 유지한다.
• 추정된 평균 $ ilde{ u} $ 에 대한 랜덤라이제이션이 수치적 안정성 향상과 신뢰집합 추정치의 분산 감소에 크게 기여한다.
• MCMC 샘플러는 활성 집합을 동적으로 조정하고 截斷 제안을 사용함으로써, 복잡하고 비정규적인 지원을 효과적으로 탐색한다.
• 이 방법은 모든 변수가 아닌 임의의 부분집합 $ B \neq \text{all} $ 에도 자연스럽게 일반화되며, 동시에 개별 간격의 과도하게 보수적인 가족 오차율 제어 방식을 피한다.