[논문 리뷰] Selective inference with a randomized response

Xiaoying Tian, Jonathan Taylor|arXiv (Cornell University)|2015. 07. 24.

Statistical Methods in Clinical Trials참고 문헌 26인용 수 23

한 줄 요약

이 논문은 선택적 추론을 위한 랜덤라이제이션 프레임워크를 제안하며, 비모수 설정에서의 검정력 향상과 약한 수렴을 가능하게 한다. 차별적 프라이버시와 샘플 분할에 영감을 얻어 모형 선택에 랜덤라이제이션을 통합함으로써, 일반적인 조건 하에서 선택적 중심극한정리(Selective Central Limit Theorem)를 수립하여 근본적인 통계량이 Uniform(0,1)으로 수렴함을 보장함으로써, 데이터 기반 모형 선택 이후에도 타당한 추론이 가능하도록 한다.

ABSTRACT

Inspired by sample splitting and the reusable holdout introduced in the field of differential privacy, we consider selective inference with a randomized response. We discuss two major advantages of using a randomized response for model selection. First, the selectively valid tests are more powerful after randomized selection. Second, it allows consistent estimation and weak convergence of selective inference procedures. Under independent sampling, we prove a selective (or privatized) central limit theorem that transfers procedures valid under asymptotic normality without selection to their corresponding selective counterparts. This allows selective inference in nonparametric settings. Finally, we propose a framework of inference after combining multiple randomized selection procedures. We focus on the classical asymptotic setting, leaving the interesting high-dimensional asymptotic questions for future work.

연구 동기 및 목표

• 선택 편향으로 인해 고전적 방법이 실패하는 데이터 기반 모형 선택 이후 타당한 통계적 추론의 과제를 해결한다.
• 정규분포가 아니며 비모수 설정인 경우에 선택적 추론의 한계를 극복하여, 점근적 정규성만으로는 유효한 p-값을 보장하지 못하는 상황을 해결한다.
• 모형 선택에 랜덤라이제이션을 도입하여 추론의 안정성을 높이고 선택적 절차의 약한 수렴을 보장한다.
• 일반적인 표본 분포 하에서 점근적 정규성 결과를 선택적 추론으로 이전할 수 있는 선택적 중심극한정리를 수립한다.
• 다중 랜덤라이제이션 선택 절차를 조합하여 추론의 강건성과 일관성을 향상시키는 프레임워크를 제공한다.

제안 방법

• 랜덤라이제이션된 모형 선택(예: 랜덤라이제이션된 샘플 분할 또는 검정 통계량에 노이즈 추가)을 사용하여 선택 사건의 안정성을 높이고 희귀 사건에 대한 민감도를 감소시킨다.
• 선택 분포를 선택된 사건이 랜덤라이제이션된 조건 하에서 검정 통계량의 조건부 분포로 정의하여, 근본적인 통계량이 근본가설 하에서 균일분포를 이루도록 보장한다.
• 지수가족의 구조와 조건부 분포를 활용하여 선택적 우도비와 근본 통계량을 유도한다.
• 약한 모멘트 조건 하에서 선택적 중심극한정리를 증명하여, 기초 분포가 정규분포가 아니어도 근본 통계량이 Uniform(0,1)으로 수렴함을 보여준다.
• 스타인의 방법과 모멘트 경계를 활용하여 정규 근사의 오차를 제어하여 수렴 속도가 $ n^{-1/2} $ 순서임을 보장한다.
• 다중 랜덤라이제이션 선택 절차의 조합을 가능하게 하여, 추론의 타당성과 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 랜덤라이제이션된 모형 선택은 비모수 설정에서 선택적 추론의 검정력과 타당성을 향상시킬 수 있는가?
• RQ2 기초 데이터가 비정규분포일 경우에도 일반적인 표본 분포 하에서 랜덤라이제이션 선택으로 유도된 근본 통계량이 Uniform(0,1)으로 수렴하는가?
• RQ3 데이터 기반 모형 선택 하에서 점근적 정규성 결과를 선택적 추론으로 이전할 수 있는 선택적 중심극한정리를 수립할 수 있는가?
• RQ4 선택 과정에서의 랜덤라이제이션은 선택적 추론 절차의 약한 수렴성과 일관성에 어떤 영향을 미치는가?
• RQ5 다중 랜덤라이제이션 선택 절차를 조합하여 추론 강건성을 향상시키는 이론적 기반은 무엇인가?

주요 결과

• 랜덤라이제이션된 선택은 비정규 설정에서 결정론적 선택보다 더 높은 검정력을 보이며, 특히 비모수 설정에서 유의미한 향상을 이룬다.
• 랜덤라이제이션된 선택 사건을 조건으로 한 조건부 분포로부터 유도된 근본 통계량 $ P(ar{X}_{n,obs}) $ 는 약한 모멘트 조건 하에서 분포 수렴으로서 Uniform(0,1)으로 수렴한다.
• 선택적 중심극한정리가 수립됨: 독립 표본 추출과 모멘트 조건 하에서 근본 통계량의 분포는 Uniform(0,1)으로 수렴하며, 이는 비모수 모형에서 유효한 p-값과 신뢰구간을 가능하게 한다.
• 근사 오차의 수렴 속도는 $ O(n^{-1/2}) $ 로, 모멘트 경계와 스타인의 방법을 통해 제어된다.
• 기초 분포가 비정규일 경우에도 이 프레임워크는 일관된 추정과 선택적 추론 절차의 약한 수렴을 보장한다.
• 이 방법은 다중 랜덤라이제이션 선택 절차의 조합으로 일반화되며, 고차원 또는 복잡한 설정에서 추론의 타당성과 강건성을 향상시킨다.