[논문 리뷰] Estimating Bernoulli trial probability from a small sample

Norman D. Megill, Mladen Pavičić|arXiv (Cornell University)|2011. 05. 08.

Advanced Statistical Methods and Models참고 문헌 1인용 수 7

한 줄 요약

이 논문은 표본 수가 적을 경우나 비율이 0 또는 1에 가까울 경우 표준 교과서 방법이 실패하는 작은 표본에서 베르누이 시행의 확률을 정확하게 추정하는 베이지안 방법을 제시한다. 사후 평균을 (m+1)/(n+2)로 유도하고, 역정규화된 비정규 불완전 베타 함수를 사용하여 정확한 신뢰구간을 계산하여, 성공 수가 0이거나 표본 수가 매우 작은 경우에도 정확한 결과를 제공한다.

ABSTRACT

The standard textbook method for estimating the probability of a biased coin from finite tosses implicitly assumes the sample sizes are large and gives incorrect results for small samples. We describe the exact solution, which is correct for any sample size.

연구 동기 및 목표

• 표본 수가 적거나 비율이 극단적(예: 성공 수가 0)일 경우 표준 교과서 방법이 베르누이 시행 확률 추정에 실패하는 문제를 해결하기 위해.
• 성공 확률 p에 대한 균일한 사전분포를 기반으로 한 엄밀하고 정확한 해를 제시하기 위해.
• 소표본에서 정규 근사와 부트스트랩을 사용하는 표준 방법이 수학적으로 정당하지 않으며 정확도가 떨어진다는 것을 입증하기 위해.
• 관측 비율이 0 또는 1이어도 정확한 신뢰구간을 제공할 수 있는 정확한 방법이 표준 방법이 0 너비의 구간을 도출하는 것과는 대조됨을 보여주기 위해.
• 소표본이 흔한 과학적 및 의학적 연구 분야에서 잘못된 추정이 잘못된 결정을 초래할 수 있으므로 정확한 방법의 도입을 촉구하기 위해.

제안 방법

• 성공 확률 p ∈ [0,1]에 대해 균일한 사전분포를 사용하여 사전 지식이 없음을 표현하고, 이로 인해 사후분포가 베타 분포가 된다.
• 사후 밀도함수를 e(x) = x^m(1−x)^{n−m} / B(m+1,n−m+1)로 유도하며, 여기서 B는 베타 함수이다.
• 정확한 사후 평균을 (m+1)/(n+2)로 계산하여 표준 추정치 m/n를 수정한다.
• 100c% 신뢰구간을 역정규화된 비정규 불완전 베타 함수를 사용하여 I_x₁(m+1,n−m+1) = (1−c)/2 및 I_x₂(m+1,n−m+1) = (1+c)/2를 풀어 결정한다.
• 이산 p-값의 극한 케이스를 검토하고 k→∞로의 연속 근사를 통해 정확한 해를 유도한다.
• 실제 적용을 위해 계산 도구를 활용하여 역정규화된 비정규 불완전 베타 함수를 평가한다.

실험 결과

연구 질문

• RQ1 표본 수가 작고 성공 수가 0일 경우, 정확한 베이지안 추정치로 성공 확률을 어떻게 구할 수 있는가?
• RQ2 관측 비율이 0 또는 1이어도 유효한 남는 신뢰구간을 어떻게 구성할 수 있는가?
• RQ3 표준 교과서 방법이 소표본 베르누이 추정에서 왜 실패하는가? 그리고 구체적으로 어떤 오류를 유발하는가?
• RQ4 다양한 표본 수와 성공 빈도에서 정확한 방법과 표준 방법 간의 정확도와 신뢰성은 어떻게 비교되는가?
• RQ5 소표본 추정에서 m/n 대신 (m+1)/(n+2)의 사후 평균을 사용하는 이론적 근거는 무엇인가?

주요 결과

• 5번의 동전 던지기에서 0번의 앞면이 나온 경우, 정확한 방법은 사후 평균 1/7 ≈ 0.143과 약 0.017에서 0.319 사이의 80% 신뢰구간을 도출한다. 반면 표준 방법은 잘못된 0 평균과 0 너비의 구간을 제공한다.
• 정확한 사후 평균은 (m+1)/(n+2)로, 표준 추정치 m/n를 보정하는 단순하고 닫힌 형태의 보정이며, n이 증가함에 따라 표준 추정치에 수렴한다.
• m=917, n=1600인 투표 사례에서 정확한 95% 신뢰구간은 [0.549, 0.597]이며, 표준 방법의 [0.548, 0.598]과 매우 유사하여 큰 표본에서는 일치함을 보여준다.
• 정확한 방법은 소표본에서 수학적으로 정당하지 않은 점근적 정규 근사와 부트스트랩을 피함으로써 오해의 소지를 줄이고 잘못된 결과를 방지한다.
• 이 방법은 희귀 사건의 추정 등 큰 인구집단에서의 소표본 베르누이 과정에 대해 보편적으로 적용 가능하며, 표준 방법이 치명적인 실패를 겪는 경우에도 유용하다.
• 논문은 정확한 방법이 정확도뿐 아니라 논리적으로도 더 타당하며 표준 교과서 접근법보다 우선시되어야 한다고 결론 내린다.