[논문 리뷰] Empirical Bayes estimation of normal means, accounting for uncertainty in estimated standard errors

Mengyin Lu, Matthew Stephens|arXiv (Cornell University)|2019. 01. 30.

Statistical Methods and Inference참고 문헌 14인용 수 7

한 줄 요약

이 논문은 표준오차가 추정되며 알려져 있지 않을 때 정규분포 평균을 추정하기 위한 이중단계 경험베이즈 방법을 제안한다. 이는 표준오차 추정 불확실성에 기인한 나이브한 t분포 접근법의 심각한 결함을 해결한다. 먼저 추정된 표준오차에 경험베이즈 수축을 적용한 후, EB t-평균 문제를 해결함으로써, 나이브하거나 부호화된 대안보다 훨씬 더 높은 정확도와 신뢰구간 커버리지로 신뢰할 수 있는 점추정과 구간추정을 달성한다. 특히 저표본 환경에서 성능 향상이 두드러진다.

ABSTRACT

We consider Empirical Bayes (EB) estimation in the normal means problem, when the standard deviations of the observations are not known precisely, but estimated with error -- which is almost always the case in practical applications. In classical statistics accounting for estimated standard errors usually involves replacing a normal distribution with a $t$ distribution. This suggests approaching this problem by replacing the normal assumption with a $t$ assumption, leading to an "EB $t$-means problem". Here we show that an approach along these lines can indeed work, but only with some care. Indeed, a naive application of this idea is flawed, and can perform poorly. We suggest how this flaw can be remedied by a two-stage procedure, which first performs EB shrinkage estimation of the standard errors and then solves an EB $t$-means problem. We give numerical results illustrating the effectiveness of this remedy.

연구 동기 및 목표

• 표준오차가 알려져 있지 않고 추정될 때 경험베이즈 정규분포 평균 추정에 나이브하게 t분포를 적용하는 데서 발생하는 결함을 해결하기 위해.
• 경험베이즈 프레임워크에서 추정된 표준오차의 불확실성을 올바르게 반영하는 원칙적인 방법을 개발하기 위해.
• 추정된 표준오차를 가진 고차원 정규분포 평균 문제에서 추정 정확도와 신뢰구간 커버리지 향상을 위해.
• 이중단계 접근법—표준오차 수축 후 EB t-평균 분석 수행—이 나이브하거나 부호화된 방법보다 더 신뢰할 수 있는 추론을 제공함을 보여주기 위해.

제안 방법

• Smyth(2004)와 유사한 계층모형을 사용하여 추정된 표준오차에 경험베이즈 수축을 적용하여 조정된 표준오차와 자유도를 도출한다.
• 조정된 표준오차와 자유도를 사용하여 관측된 효과에 대한 t분포 표본모형을 정의한다: $\hat{\beta}_j \mid \beta_j, \hat{s}_j \sim t_{\nu_j}(\beta_j, \hat{s}_j)$.
• EB t-평균 모형(EBTM) 하에서 경험베이즈 추론를 수행하여 혼합분포 $g_\beta$를 추정하고, 후행분포 $p(\beta_j \mid \hat{\beta}_j, \hat{s}_j, \hat{g}_\beta)$를 계산한다.
• 후행분포를 사용하여 점추정(예: 후행평균)과 신뢰구간을 계산하여 올바른 불확실성 정량화를 확보한다.
• 시뮬레이션 연구를 통해 이중단계 방법을 나이브 EB t-평균 및 부호화된 방법(예: p-value에서 표준오차로의 변환)과 비교한다.
• 상대근미제곱오차(RRMSE)와 95% 신뢰구간의 실질적 커버리지(신호 강도 및 표본 크기 기준으로 분할)를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 표준오차가 추정될 때 경험베이즈 정규분포 평균 추정에 나이브하게 정규분포 대신 t분포를 적용하면 타당한 추론이 가능한가?
• RQ2 표준오차 수축 후 EB t-평균 문제를 해결하는 이중단계 경험베이즈 절차가 나이브하거나 부호화된 방법보다 추정 정확도와 커버리지 향상에 기여하는가?
• RQ3 제안된 방법의 성능은 표본 크기와 효과 분포 형태(예: 피크가 뚜렷한, 이중정점, 평탄한 형태)에 따라 어떻게 달라지는가?
• RQ4 표준오차가 불확실할 때, 특히 중요한 발견에 대해 신뢰구간의 커버리지가 어느 정도 유지되는가?
• RQ5 고차원 환경에서 표준오차가 추정될 경우, 이 방법은 추정 정확도 향상과 함께 잘못된 발견률을 신뢰성 있게 제어할 수 있는가?

주요 결과

• 이중단계 방법—표준오차에 대한 EB 수축 후 EB t-평균 추론 수행—은 고노멀(저신호) 환경에서 수축되지 않은 추정치 대비 최대 90%의 RMSE 향상을 달성한다.
• 나이브한 EB t-평균 모형 적용은 잘못된 추론을 초래한다. 왜냐하면 $ (\hat{\beta}_j - \beta_j)/\hat{s}_j \mid \hat{s}_j $가 t분포를 따르지 않기 때문이다. 이는 모델의 타당성을 해친다.
• 95% 하한 신뢰경계의 커버리지가 일반적으로 $N \geq 4$에서는 만족스럽지만, $N=2$일 경우 커버리지가 급격히 떨어지며(예: 빅노멀 케이스에서 23%로 감소), 꼬리 부분의 과다수축이 발생함을 시사한다.
• 부호화된 방법(VL+pval2se+ash)은 FDR 제어에는 상당히 잘 작동하지만, 원칙적인 이중단계 EBTM 접근법보다 추정 정확도가 낮다.
• 선택 후 커버리지가 이중단계 방법에서는 양호하게 유지되며, 특히 중요한 효과를 식별할 때도 강건함을 보여준다.
• 저신호 환경에서는 보수적인 행동를 유지하지만, 과다수축을 방지하기 위해 일부 꼬리 부분의 과다수축은 피할 수 없다.