[논문 리뷰] On Estimating Many Means, Selection Bias, and the Bootstrap

Noah Simon, Richard Simon|arXiv (Cornell University)|2013. 11. 15.

Statistical Methods and Inference참고 문헌 12인용 수 8

한 줄 요약

이 논문은 선택된 효과 크기가 체계적으로 과대평가되는 고차원 평균 추정에서 선택 편향을 추정하기 위한 빈도주의 프레임워크를 제안한다. 극단적 효과 크기의 과대평가 문제를 해결하기 위해 파라미터 기반 부트스트랩 방법을 도입하여 이 편향을 추정하고 보정하며, 이는 특히 정규성 또는 비모수적 설정에서 에르그오딕 베이즈 방법이 비가능한 경우에 광범위하게 적용 가능한 것으로 나타났다.

ABSTRACT

With recent advances in high throughput technology, researchers often find themselves running a large number of hypothesis tests (thousands+) and esti- mating a large number of effect-sizes. Generally there is particular interest in those effects estimated to be most extreme. Unfortunately naive estimates of these effect-sizes (even after potentially accounting for multiplicity in a testing procedure) can be severely biased. In this manuscript we explore this bias from a frequentist perspective: we give a formal definition, and show that an oracle estimator using this bias dominates the naive maximum likelihood estimate. We give a resampling estimator to approximate this oracle, and show that it works well on simulated data. We also connect this to ideas in empirical Bayes.

연구 동기 및 목표

• 극단적 효과 크기가 보고를 위해 선택되는 경우, 특히 빈도주의 관점에서 고차원 평균 추정에서의 선택 편향을 체계적으로 정의하는 것.
• 추정된 평균의 순서통계량에 대한 빈도주의 편향을 정의하고, 이 편향 보정 추정량이 평균 제곱오차 측면에서 단순 최대우도 추정량을 능가함을 보이는 것.
• 에르그오딕 베이즈 방법이 모델 복잡성 또는 비모수적 가정 부족으로 비가능한 경우에도 적용 가능한 일반적인, 리샘플링 기반 방법(파라미터 기반 부트스트랩)을 개발하여 이 선택 편향을 추정하는 것.
• 시뮬레이션과 실제 데이터(예: 전립선암 유전자 발현)를 통해 방법의 성능을 시험하여, 유리한 경우 에르그오딕 베이즈와 강한 일치를 보이고, 복잡한 상황에서는 더 뛰어난 안정성을 확보하는 것.

제안 방법

• 선택 편향을 선택된 특징의 진짜 평균과 표본 평균의 순서통계량 사이의 기대값 차이로 정의한다: $\beta_k = \mathbb{E}[z_{(k)} - \mu_{i(k)}]$.
• 추정된 모수를 가진 정규 모형에서 리샘플링을 통해 $\beta_k$를 추정하는 파라미터 기반 부트스트랩 절차를 제안하며, 순서통계량의 경험적 분포를 활용한다.
• 부트스트랩 추정치 $\hat{\beta}_k$를 사용하여 극단적 표본 평균을 보정한다: $\tilde{\mu}_{i(k)} = z_{(k)} - \hat{\beta}_k$, 이는 평균 제곱오차를 감소시키는 수축 추정량을 제공한다.
• 티위드의 공식 기반 및 비모수적 밀도 추정 기반의 에르그오딕 베이즈 방법과 비교하여 수축 행동의 유사점과 차이점을 강조한다.
• 시뮬레이션 데이터와 실제 고 throughput 데이터(예: 전립선암 마이크로어레이)에 이 방법을 적용하여 다양한 상황에서 일관된 성능을 보이는 것을 확인한다.
• 정규성 조건 하에서 부트스트랩 추정량의 이론적 일致성을 입증하며, 표본 크기가 증가함에 따라 추정된 편향이 진짜 편향으로 수렴하는 것을 보여준다.

실험 결과

연구 질문

• RQ1 어떻게 고차원 평균 추정에서 선택 편향을 빈도주의 관점에서 체계적으로 정의하고 정량화할 수 있는가?
• RQ2 모수적 사전 확률에 의존하지 않고도 일반적인 리샘플링 기반 방법을 개발하여 이 선택 편향을 추정하고 보정할 수 있는가?
• RQ3 제안된 부트스트랩 방법의 성능은 기존의 에르그오딕 베이즈 접근법과 비교해 편향 감소 및 평균 제곱오차 측면에서 어떻게 다른가?
• RQ4 특정 모형 가정이 성립하지 않을 경우, 특히 모수적 가정이 실패할 때 부트스트랩 방법이 에르그오딕 베이즈보다 더 안정적 또는 실용적인 상황은 어떤가?

주요 결과

• 에르그오딕 베이즈 방법이 적용 가능한 상황에서는 부트스트랩 기반 편향 보정 방법이 평균 제곱오차 측면에서 유사한 성능을 보이며, 특히 구조가 알려진 시뮬레이션 및 실제 데이터에서 유사한 결과를 보였다.
• 이 방법은 극단적 순서통계량에서 선택 편향을 크게 감소시키며, 특히 가장 극단적인 값들에 대해 전체 평균 쪽으로 강한 수축 효과를 보였다.
• 에르그오딕 베이즈가 비가능한 경우—예를 들어 검정 통계량의 주변 분포가 알려지지 않거나 복잡한 경우—부트스트랩 방법은 여전히 효과적이며 계산적으로 실현 가능하다.
• 이론적 분석을 통해 표본 수가 증가함에 따라 부트스트랩 추정량이 진짜 편향으로 수렴함을 확인하였으며, 이는 정규성 조건 하에서의 일致성을 지지한다.
• 전립선암 데이터에 대한 실증 결과는 부트스트랩 수축 추정량이 특히 상위 랭크된 특징들에 대해 단순 표본 평균보다 더 안정적이고 낙관적이지 않은 효과 크기 추정을 제공함을 보여주었다.