[논문 리뷰] Confidence Intervals for Selected Parameters

Yoav Benjamini, Yotam Hechtlinger외 1명|arXiv (Cornell University)|2019. 06. 02.

Statistical Methods in Clinical Trials참고 문헌 18인용 수 8

한 줄 요약

이 논문은 선택 규칙을 고려하여, m개의 이동 파라미터 중 k개의 가장 큰 파라미터에 대한 동시에 신뢰 구간을 제안한다. 이는 표준 방법보다 커버리지 정확도를 향상시킨다. 이 방법은 선택된 것들에 대한 '동시성' 오류율(SoS)을 제어하며, k ≪ m일 경우 Šidák 또는 Bonferroni 보정보다 더 짧은 구간을 제공하고, k ≈ m일 경우 그 방법들과 수렴한다.

ABSTRACT

Practical or scientific considerations often lead to selecting a subset of parameters as ``important.'' Inferences about those parameters often are based on the same data used to select them in the first place. That can make the reported uncertainties deceptively optimistic: confidence intervals that ignore selection generally have less than their nominal coverage probability. Controlling the probability that one or more intervals for selected parameters do not cover---the ``simultaneous over the selected'' (SoS) error rate---is crucial in many scientific problems. Intervals that control the SoS error rate can be constructed in ways that take advantage of knowledge of the selection rule. We construct SoS-controlling confidence intervals for parameters deemed the most ``important'' $k$ of $m$ shift parameters because they are estimated (by independent estimators) to be the largest. The new intervals improve substantially over Šidák intervals when $k$ is small compared to $m$, and approach the standard Bonferroni-corrected intervals when $k \approx m$. Standard, unadjusted confidence intervals for location parameters have the correct coverage probability for $k=1$, $m=2$ if, when the true parameters are zero, the estimators are exchangeable and symmetric.

연구 동기 및 목표

• 데이터 기반 기준에 따라 파라미터가 선택될 경우 표준 신뢰 구간의 커버리지 확률이 왜곡되는 문제를 다루기 위해.
• 선택된 파라미터에 대해 '선택된 것들에 대한 동시에'(SoS) 오류율을 제어하는 신뢰 구간을 개발하기 위해.
• 예를 들어 k개의 가장 큰 추정치를 선택하는 것과 같은 선택 규칙 지식을 통합하여 Šidák 및 Bonferroni와 같은 기존 방법을 개선하기 위해.
• 선택된 파라미터 수가 적을 경우, 모든 가능한 부분집합에 대한 동시 추론보다 선택적 추론 방법이 더 강력하고 정밀할 수 있음을 보여주기 위해.

제안 방법

• 선택 규칙에 따라 조건부로 SoS 오류율을 제어하는 신뢰 구간을 구성: k개의 가장 큰 추정 이동 파라미터 선택.
• 변환 기반 접근법을 사용하여, 다양한 파라미터 구성에서 커버리지 영역의 확률을 비교하고, 선택된 경우에 대해 커버리지가 확률적으로 증가함을 증명.
• 기하학적 및 확률적 추론(예: 삼각형의 합동, 영역의 반사 및 회전)을 적용하여, 선택된 모델 하에서의 커버리지 확률이 영가설 또는 간단한 구성보다 적어도 동일하게 유지됨을 보임.
• 다양한 공분산 구조(AR, TD, Block) 하에서 혼합 정규분포 및 t분포 변수를 사용한 시뮬레이션을 통해 의존성 하에서의 강건성과 커버리지 검증.
• 제안된 구간을 표준 Šidák 및 Bonferroni 구간과 비교하여, k가 m에 비해 작을 경우 길이와 커버리지가 향상됨을 보임.
• 대칭성과 불변성 원리를 사용하여, 선택된 구간의 커버리지 확률이 진짜 파라미터 값과 함께 확률적으로 증가함을 보이고, 유효한 추론이 가능함을 보임.

실험 결과

연구 질문

• RQ1 추정치 기반으로 파라미터가 선택될 경우(예: k개의 가장 큰 값), 어떻게 하면 유효한 커버리지가 유지되는 신뢰 구간을 구성할 수 있는가?
• RQ2 선택 규칙 지식을 통합하면, Šidák 또는 Bonferroni와 같은 표준 동시 방법보다 더 짧고 강력한 신뢰 구간을 얻을 수 있는가?
• RQ3 의존성(예: 상관관계 또는 무거운 尾)이 SoS 구간의 커버리지에 어떤 영향을 미치는가?
• RQ4 선택된 파라미터 수 k가 총 수 m에 비해 작거나 클 경우, 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 자기회귀, 시간 감쇠 또는 블록 공분산과 같은 다양한 의존성 구조 하에서 SoS 오류율 제어가 강건한가?

주요 결과

• 제안된 SoS 제어 신뢰 구간은 표준 구간이 과도하게 낙관적인 경우조차도 선택 규칙 하에서 정확한 커버리지 확률을 달성한다.
• k ≪ m일 경우, 구간은 Šidák 구간보다 상당히 짧아지며, 정밀도와 검정력이 향상된다.
• k가 m에 수렴할수록 구간은 표준 Bonferroni 보정 결과와 수렴하여 기존 방법과 일관성을 유지한다.
• 시뮬레이션 결과, AR, TD, Block 등의 다양한 의존성 구조에서 근사 명목 커버리지(예: α=0.05일 때 약 95%)를 유지함을 보이며, 미미한 편차 외에는 우수한 성능을 보였다.
• 의존성 하에서도 방법은 보수적으로 작동하며, 커버리지가 종종 명목 수준을 초과함을 보이며, 이는 강건성을 시사하지만 특정 설정에서는 향상 가능성을 암시한다.
• 선택 분포(예: 시뮬레이션에서의 η)는 공분산 구조보다 커버리지에 더 큰 영향을 미치며, 진짜 파라미터 차이의 크기가 핵심 요소임을 시사한다.