[논문 리뷰] How sure are we? Two approaches to statistical inference

Michael Wood|arXiv (Cornell University)|2018. 03. 15.

Diversity and Career in Medicine참고 문헌 9인용 수 5

한 줄 요약

이 논문은 기초 가설 검정과 재표본화 및 부트스트랩을 활용한 베이지안 유사 접근법이라는 두 가지 통계적 추론 방법을 제시하며, 복잡한 확률 분포에 의존하지 않고 표본 기반 결론의 불확실성을 평가하기 위한 직관적이고 시뮬레이션 기반의 방법을 제공한다. 비전문가를 대상으로 스프레드시트 기반 시뮬레이션을 통해 접근성을 높이며, 전통적인 귀무가설 검정이 부족한 확률적 해석을 제공한다.

ABSTRACT

Suppose you are told that taking a statin will reduce your risk of a heart attack or stroke by 3% in the next ten years, or that women have better emotional intelligence than men. You may wonder how accurate the 3% is, or how confident we should be about the assertion about women's emotional intelligence, bearing in mind that these conclusions are only based on samples of data? My aim here is to present two statistical approaches to questions like these. Approach 1 is often called null hypothesis testing but I prefer the phrase "baseline hypothesis": this is the standard approach in many areas of inquiry but is fraught with problems. Approach 2 can be viewed as a generalisation of the idea of confidence intervals, or as the application of Bayes' theorem. Unlike Approach 1, Approach 2 provides a tentative estimate of the probability of hypotheses of interest. For both approaches, I explain, from first principles, building only on "common sense" statistical concepts like averages and randomness, both how to derive answers, and the rationale behind the answers. This is achieved by using computer simulation methods (resampling and bootstrapping using a spreadsheet available on the web) which avoid the use of probability distributions (t, normal, etc). Such a minimalist, but reasonably rigorous, analysis is particularly useful in a discipline like statistics which is widely used by people who are not specialists. My intended audience includes both statisticians, and users of statistical methods who are not statistical experts.

연구 동기 및 목표

• 실제 데이터 분석에서의 위험 감소나 집단 간 차이와 같은 통계적 불확실성의 해석이라는 일반적인 과제를 해결하기 위해.
• 비통계학자를 위한 전통적인 귀무가설 검정의 대안으로 더 직관적이고 접근하기 쉬운 방법을 제공하기 위해.
• 재표본화 및 부트스트랩 기법을 통해 t분포나 정규분포와 같은 이론적 분포에 의존하지 않고도 가설의 확률을 추정할 수 있음을 보여주기 위해.
• 평균과 무작위성과 같은 기본 개념만을 사용하여 통계적 엄밀함과 실용적 이해 사이의 격차를 메우기 위해.
• 사용자가 시뮬레이션과 시각화를 통해 통계적 추론 과정을 탐색할 수 있도록 하는 투명하고 웹 액세스 가능한 스프레드시트 도구를 제공하기 위해.

제안 방법

• 이론적 확률 분포를 가정하지 않고 표본 분포를 추정하기 위해 컴퓨터 시뮬레이션(재표본화 및 부트스트랩)을 사용한다.
• 귀무가설 유의성 검정의 대안으로 '기초 가설' 프레임워크를 적용하여 실질적 효과 크기와 불확실성에 초점을 맞춘다.
• 반복적인 무작위 표본 추출을 통해 통계적 추론을 탐색할 수 있도록 스프레드시트 기반의 시뮬레이션 환경을 활용한다.
• 다양한 가정 하에서 데이터를 시뮬레이션하고 결과의 빈도를 관찰하여 가설에 대한 신뢰도를 도출한다.
• 관측된 데이터를 바탕으로 가설이 참일 확률을 추정하는 시뮬레이션 기반 사후 추정을 통해 베이지안 유사 해석을 도입한다.
• 복잡한 수학적 형식주의를 피하고 평균과 무작위성과 같은 일반적인 직관적 개념만을 사용하여 원칙에서부터 이해를 구축한다.

실험 결과

연구 질문

• RQ1 스테atin이 심장마비 위험을 3% 감소시킨다는 보고된 결과를 표본 데이터 기반으로 신뢰할 수 있는지 평가하는 방법은 무엇인가요?
• RQ2 여성의 정서지능이 남성보다 높다는 주장과 같은 집단 비교에서 신뢰도를 적절히 측정하는 방법은 무엇인가요?
• RQ3 고급 통계 이론에 의존하지 않고 비전문가가 통계적 불확실성을 이해하고 해석할 수 있는 방법은 무엇인가요?
• RQ4 기초 가설 접근법은 기존의 귀무가설 검정과 어떻게 다릅니끼며, 어떻게 개선되었나요?
• RQ5 시뮬레이션 기반 방법은 가설이 참일 가능성에 대해 더 직관적이고 정확한 평가를 제공할 수 있나요?

주요 결과

• 기초 가설 접근법은 이분법적 의사결정 프레임워크와 p값 의존성으로 인해 일반적으로 오해를 초래한다.
• 시뮬레이션 기반 접근법은 가설이 참일 가능성을 직접 추정하여 불확실성에 대한 더 직관적이고 정보적인 측정을 제공한다.
• 재표본화 및 부트스트랩 기법을 통해 사용자는 정규분포나 t분포에 대한 가정 없이 표본 분포를 경험적으로 유도할 수 있다.
• 반복적인 시뮬레이션을 통해 추정치의 변동성을 시각화하고 이해할 수 있어 개념적 명확성이 향상된다.
• 웹 액세스 가능한 스프레드시트 도구를 통해 사용자는 통계적 추론 과정을 상호작용적으로 탐색할 수 있어 비전문가에게 복잡한 개념을 쉽게 다가올 수 있다.
• 이 방법은 추상적인 통계 개념을 실용적이고 시각적이며 계산 기반의 통찰으로 성공적으로 번역하였다.