[논문 리뷰] Statistical uncertainty analysis for small-sample, high log-variance data: Cautions for bootstrapping and Bayesian bootstrapping

Barmak Mostofian, Daniel M. Zuckerman|arXiv (Cornell University)|2018. 06. 05.

Statistical Methods and Inference참고 문헌 25인용 수 4

한 줄 요약

이 논문은 소규모 표본, 고로그분산 데이터에서 표준 부트스트랩의 심각한 편향을 규명한다. 특히 로그 공간에서 신뢰구간 하한이 인위적으로 낮게 나오는 경향이 있으며, 베이지안 부트스트랩이 더 신뢰할 만한 불확실성 추정을 제공함을 보여준다. 저자들은 분자 시뮬레이션에서 자주 발생하는 수천 배 이상의 주기적 범위를 가진 데이터에서 속도 상수를 추정할 때 표준 부트스트랩에 과도하게 의존하는 것을 경고한다. 물리적 제약으로 인해 양수 값만 가능한 간격이 요구되기 때문이다.

ABSTRACT

Recent advances in molecular simulations allow the evaluation of previously unattainable observables, such as rate constants for protein folding. However, these calculations are usually computationally expensive and even significant computing resources may result in a small number of independent estimates spread over many orders of magnitude. Such small-sample, high "log-variance" data are not readily amenable to analysis using the standard uncertainty (i.e., "standard error of the mean") because unphysical negative limits of confidence intervals result. Bootstrapping, a natural alternative guaranteed to yield a confidence interval within the minimum and maximum values, also exhibits a striking systematic bias of the lower confidence limit in log space. As we show, bootstrapping artifactually assigns high probability to improbably low mean values. A second alternative, the Bayesian bootstrap strategy, does not suffer from the same deficit and is more logically consistent with the type of confidence interval desired. The Bayesian bootstrap provides uncertainty intervals that are more reliable than those from the standard bootstrap method, but must be used with caution nevertheless. Neither standard nor Bayesian bootstrapping can overcome the intrinsic challenge of under-estimating the mean from small-size, high log-variance samples. Our conclusions are based on extensive analysis of model distributions and re-analysis of multiple independent atomistic simulations. Although we only analyze rate constants, similar considerations will apply to related calculations, potentially including highly non-linear averages like the Jarzynski relation.

연구 동기 및 목표

• 분자 시뮬레이션에서 흔히 나타나는 소규모 표본, 고로그분산 데이터에 대한 신뢰구간의 신뢰성 평가.
• 표준 부트스트랩이 로그 공간에서 물리적으로 불가능한, 너무 낮은 하한 신뢰구간을 유도하는 체계적 편향을 규명.
• 양의 왜곡이 심하고 수천 배 이상의 주기적 범위를 가진 데이터에서 표준 부트스트랩과 베이지안 부트스트랩의 불확실성 추정 성능 비교.
• 계산 생물물리학에서 속도 상수 및 유사한 비선형 관측량에 대한 불확실성 정량화 가이드라인 제공.

제안 방법

• 저자들은 실제 분자 시뮬레이션 데이터를 시뮬레이션하기 위해 로그정규분포, 균일분포, 지수분포에서 유도한 합성 데이터를 사용하며, 다양한 로그분산을 가진다.
• 표준 부트스트랩과 베이지안 부트스트랩을 각각 95% 신뢰구간과 신뢰영역을 추정하기 위해 적용하며, 표본 크기(5 ≤ n ≤ 50)를 다양하게 설정한다.
• 실제 포함율(신뢰구간이 진짜 평균을 포함하는 빈도)과 하한의 절반 최대 누적분포함수(CDF) 비율을 사용해 구간 하한의 편향을 평가한다.
• 실제 가중치 기반 엔semble(WE) 시뮬레이션의 단백질 접힘 속도 상수 데이터를 재분석하여, 부트스트랩과 베이지안 부트스트랩의 구간을 비교한다.
• 특히 표준 부트스트랩이 하한을 과소평가하는 경향을 분석하기 위해 로그공간 변환을 사용한다.
• 로그표준편차(σ_log(x)), 왜곡도, 초과첨도와 같은 통계적 지표를 계산하여 데이터 분포의 특성과 부트스트랩 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 소규모 표본, 고로그분산 데이터에 대해 표준 부트스트랩이 안정적인 신뢰구간을 제공하는가, 특히 로그 공간에서?
• RQ2 고분산, 다수의 주기적 범위를 가진 데이터 세트에서 표준 부트스트랩의 하한 신뢰구간은 진짜 평균과 어떻게 비교되는가?
• RQ3 베이지안 부트스트랩은 이러한 데이터에서 관찰된 표준 부트스트랩의 체계적 편향을 완화하는가?
• RQ4 두 방법 모두 소규모 고로그분산 표본에서 진짜 평균을 얼마나 과소평가하는가?
• RQ5 표준 부트스트랩과 베이지안 부트스트랩의 실제 포함율은 각각의 명목상 95% 신뢰수준과 어떻게 비교되는가?

주요 결과

• 표준 부트스트랩은 명목상 95% 구간에 대해 실제 포함율이 44.2%에서 92.3% 사이에 그치며, 심각한 과소포함이 발생함을 나타낸다.
• 표준 부트스트랩의 구간 하한은 로그 공간에서 체계적으로 낮게 편향되며, 종종 수천 배 이상 낮게 평가되어 현실적으로 불가능한 낮은 평균 값에 높은 확률을 할당한다.
• 베이지안 부트스트랩은 실제 포함율이 71.4%에서 91.8%로 더 높고, 하한의 편향이 현저히 적으며, 절반 최대 CDF 비율이 표준 부트스트랩의 0.19 대비 1.0으로 훨씬 우수하다.
• 실제 단백질 접힘 속도 상수 데이터에서는 표준 부트스트랩의 95% 신뢰구간 하한이 시스템 A에서 진짜 평균보다 10^17 배나 작았지만, 베이지안 부트스트랩은 진짜 값에 훨씬 가까이 있었다.
• 두 방법 모두 소규모 고로그분산 표본에서 평균을 과소평가하는 본질적 문제를 완전히 해결하지 못하지만, 베이지안 부트스트랩이 더 논리적이고 신뢰할 수 있다.
• 연구는 두 방법 모두 소규모 고로그분산 표본에서 평균 과소평가 문제를 극복하지 못하지만, 베이지안 부트스트랩이 더 타당한 선택임을 확인한다.