[논문 리뷰] Nonparametric Empirical Bayes Estimation on Heterogeneous Data

Banerjee, Trambak, Luella Fu외 3명|arXiv (Cornell University)|2020. 02. 28.

Statistical Methods in Clinical Trials참고 문헌 61인용 수 15

한 줄 요약

이 논문은 이질적인 데이터에서 편향된 추정 문제를 다루기 위해 비모수적 경험베이즈 구조 Tweedie(NEST) 추정기를 소개한다. 이는 연구 단위 간 분산과 같은 부수적 매개변수의 이질성으로 인한 선택 편향 문제를 해결하기 위한 것이다. 커널화된 스티븐의 불일치를 사용해 알려지지 않은 사전분포를 비모수적으로 모델링함으로써 Tweedie의 공식을 확장한 NEST는 가중 제곱오차 손실 하에서 渐近 최적성을 확보하며, 시뮬레이션과 실세계 응용(예: 야구 타율, 공모펀지 샤프 지수)에서 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

The simultaneous estimation of many parameters based on data collected from corresponding studies is a key research problem that has received renewed attention in the high-dimensional setting. Many practical situations involve heterogeneous data where heterogeneity is captured by a nuisance parameter. Effectively pooling information across samples while correctly accounting for heterogeneity presents a significant challenge in large-scale estimation problems. We address this issue by introducing the ``Nonparametric Empirical Bayes Structural Tweedie" (NEST) estimator, which efficiently estimates the unknown effect sizes and properly adjusts for heterogeneity via a generalized version of Tweedie's formula. For the normal means problem, NEST simultaneously handles the two main selection biases introduced by heterogeneity: one, the selection bias in the mean, which cannot be effectively corrected without also correcting for, two, selection bias in the variance. We develop theory to show that NEST is asymptotically as good as the optimal Bayes rule that uniquely minimizes a weighted squared error loss. In our simulation studies NEST outperforms competing methods, with much efficiency gains in many settings. The proposed method is demonstrated on estimating the batting averages of baseball players and Sharpe ratios of mutual fund returns. Extensions to other members of the two-parameter exponential family are discussed.

연구 동기 및 목표

• 연구 단위 간 분산과 같은 부수적 매개변수의 이질성으로 인한 대규모 추정 문제에서 선택 편향을 다루기 위해.
• 모수의 값이 알려지지 않았거나 동일하지 않은 경우에도 이질성의 변화를 고려할 수 있는 비모수적 경험베이즈 추정기를 개발하기 위해.
• 이질성에 기인한 가중 제곱오차 손실 하에서 이론적 베이즈 규칙에 대해 渐近 최적성을 달성하기 위해.
• 이질적 데이터를 포함한 시뮬레이션과 실세계 응용에서 기존의 수축 및 경험베이즈 방법보다 성능을 뛰어나게 하기 위해.
• 비모수적 사전분포를 사용해 알려지지 않은 부수적 매개변수를 가진 이원수열 가족으로 Tweedie의 공식을 일반화하기 위해.

제안 방법

• 효과 크기와 부수적 매개변수의 결합 사전분포를 추정하기 위해 커널화된 스티븐의 불일치를 통합한 NEST 추정기를 제안하며, 이는 Tweedie의 공식의 일반화된 확장이다.
• 적합도와 매끄러움 사이의 균형을 조절하는 스무딩 매개변수 λ를 포함한 볼록 최적화 프레임워크를 사용하여 비모수적 사전분포를 펜리티드 우도 접근법으로 추정한다.
• 로그-변량 밀도의 도함수를 근사하기 위해 커널 기반의 스코어 함수 추정기를 사용하여 구조 Tweedie 조정의 효율적 계산을 가능하게 한다.
• 정규 평균 문제와 Weibull의 척도 혼합 분포에 적용하여, 알려진 및 알려지지 않은 부수적 매개변수 하에서 NEST 추정기의 명시적 형태를 유도한다.
• 부수적 매개변수가 알려지지 않은 경우를 위해 반복적인 추정 전략을 구현하며, 경험베이즈 원리에 따라 주요 매개변수와 부수적 매개변수의 수축을 번갈아 적용한다.
• 시뮬레이션과 실데이터(야구 타율, 공모펀지 샤프 지수)를 사용하여 방법의 타당성을 검증하였으며, 이질성 조건 하에서도 강건한 성능을 보였다.

실험 결과

연구 질문

• RQ1 이질적인 분산이 존재하는 대규모 추정 문제에서 비모수적 경험베이즈 방법이 선택 편향을 효과적으로 보정할 수 있는가?
• RQ2 이질성 조건 하에서 NEST 추정기는 기존의 수축 및 경험베이즈 방법과 비교해 편향 보정 및 평균 제곱오차 측면에서 어떻게 성능을 내는가?
• RQ3 가중 제곱오차 손실 하에서 이론적 베이즈 규칙에 대해 NEST 추정기는 어느 정도 渐近 최적성을 달성하는가?
• RQ4 비모수적 사전분포를 사용해 알려지지 않은 부수적 매개변수를 가진 이원수열 가족으로 Tweedie의 공식을 일반화할 수 있는가?
• RQ5 고차원 설정에서 다른 비모수적 최대우도 추정기(NPMLE)와 비교해 NEST의 계산 확장성은 어떠한가?

주요 결과

• NEST는 진정한 알려지지 않은 사전분포 하에서 가중 제곱오차 손실을 최소화하는 베이즈 규칙으로 수렴하며, 渐近 최적성을 확보한다.
• 시뮬레이션 결과, NEST는 선형 수축 및 임계값 추정기와 같은 경쟁 방법보다 일관되게 뛰어난 성능을 보이며, 이질성 조건 하에서 뚜렷한 효율성 향상을 보였다.
• 전통적 추정기에서 자주 혼동되는 평균과 분산의 선택 편향을 동시에 효과적으로 보정한다.
• 실데이터 분석에서 NEST는 벤치마크 방법보다 더 정확한 야구 선수의 타율 및 공모펀지 샤프 지수 추정을 제공한다.
• Hessian 평가로 인한 높은 계산 복잡도(O(n³))에도 불구하고 중간 규모 문제에서는 경쟁 가능성을 유지하며, 향후 일阶 최적화 방법을 통한 최적화 가속화가 주요 연구 과제로 제기된다.
• Weibull의 척도 혼합분포 및 기타 이원수열 가족으로의 확장은 가능하며, 충분통계량이 가용할 경우 폐쇄형 추정기 형태를 도출할 수 있다.