[논문 리뷰] Frequentist vs Bayesian statistics - a non-statisticians view

Maarten H. P. Ambaum|arXiv (Cornell University)|2012. 08. 10.

Statistics Education and Methodologies인용 수 4

한 줄 요약

이 논문은 베이지안 통계가 장기 빈도와 이상화된 가정에 의존하는 흔한 통계보다 실제 과학적 추론에 더 적합하다고 주장한다. 동전 뒷면을 던지는 예시를 들어, 흔한 방법은 실험적 편향과 진정한 공정성 사이를 구분하지 못하는 반면, 베이지안 방법은 사전 지식을 통합하여 관측된 데이터를 바탕으로 가설의 타당성을 평가하므로 불확실성 하에서 과학적 추론에 더 적합하다.

ABSTRACT

People who by training end up dealing with probabilities ("statisticians") roughly fall into one of two camps. One is either a frequentist or a Bayesian. To a scientist, who needs to use probabilities to make sense of the real world, this division seems sometimes baffling. I will argue that science mostly deals with Bayesian questions. Yet the dominance of frequentist ideas in statistics points many scientists in the wrong statistical direction.

연구 동기 및 목표

• 실제 추론에서의 한계에도 불구하고 과학 연구에서 흔한 통계의 지배를 도전하기 위해.
• 동전의 공정성과 같은 가설에 대한 과학적 질문이 본질적으로 베이지안 성격을 띠며, 사전 믿음과 갱신된 타당성 평가가 필요하다는 것을 보여주기 위해.
• 흔한 통계적 유의성 검정이 실제 실험에서 오해와 잘못된 결론을 초래하는 경향이 있다는 것을 보여주기 위해.
• 불확실성 하에서 과학적 추론을 위한 더 적절한 프레임워크로 베이지안 추론을 옹호하기 위해.
• 기후 과학, 심리학, 물리학 등 분야에서 p-값과 귀무가설 유의성 검정의 한계를 부각하기 위해.

제안 방법

• 흔한 통계와 베이지안 통계의 확률 해석을 비교하기 위해 동전 뒷면 던지기 실험을 사례로 사용하기 위해.
• 베이즈 정리에 따라 관측된 데이터(13개의 앞면, 7개의 뒷면)를 바탕으로 동전이 공정할 확률을 후행 확률로 계산하기 위해.
• 공정한 동전을 가정할 때의 결과를 평가하기 위해 흔한 통계의 p-값을 계산하기 위해.
• 공정한 동전(p=0.5)과 편향된 동전(p=0.65)이라는 두 가설 하에서 관측된 데이터의 가능도를 비교하기 위해.
• 동전의 공정성에 대한 초기 믿음을 표현하기 위해 사전 분포를 사용하고, 관측된 데이터로 이를 갱신하기 위해.
• 동일한 데이터가 사전 지식이 포함되어 가려지는지 여부에 따라 다른 결론을 이끌 수 있음을 설명하기 위해.

실험 결과

연구 질문

• RQ1 왜 흔한 통계 방법은 종종 가설의 타당성에 대한 실제 과학적 질문에 실패하는가?
• RQ2 베이지안 분석에서 사전 지식을 포함시키면 흔한 통계적 유의성 검정에 비해 추론이 어떻게 향상되는가?
• RQ3 동일한 실험 결과가 분석이 흔한 통계인지 베이지안인지에 따라 다르게 해석될 수 있는가?
• RQ4 왜 장기 빈도 해석은 실제 과학적 실험에 부적절한가?
• RQ5 p-값과 유의성 검정이 기후 과학과 심리학과 같은 분야에서 과학자들을 얼마나 오도하는가?

주요 결과

• 공정한 동전을 사용할 때 13개의 앞면과 7개의 뒷면을 관측할 확률은 약 7.4%이며, 이는 귀무가설을 단독으로 기각하기에는 충분히 흔하지 않다.
• 편향된 동전(p=0.65)을 사용할 경우 동일한 결과가 나올 확률은 약 18.4%로, 공정한 동전 가정 하의 결과보다 두 배 이상 높다.
• 데이터가 편향된 모델 하에서 더 가능성이 높음에도 불구하고, 과학자들은 일반적으로 동전이 공정하다는 강한 사전 믿음 때문에 여전히 동전이 공정하다고 믿는다.
• 흔한 통계 접근법은 랜덤 변동이 있는 공정한 동전과 편향된 실험 설정을 구분할 수 없어, 그 설계에 근본적인 결함이 있다는 것을 드러낸다.
• 베이지안 분석은 동전이 일반적으로 공정하다는 사전 지식을 성공적으로 통합하여 가설 타당성에 대한 더 현실적인 평가를 이끈다.
• 논문은 베이지안 통계가 불완전한 지식과 불확실성 하에서 과학이 실제로 필요로 하는 바와 더 잘 부합한다고 결론 내린다.