[논문 리뷰] To Aid Scientific Inference, Emphasize Unconditional Descriptions of Statistics

Sander Greenland, Zad Rafi|arXiv (Cornell University)|2019. 09. 18.

Data Analysis with R참고 문헌 38인용 수 9

한 줄 요약

이 논문은 기존의 조건부 통계적 해석(예: 전통적인 P값과 신뢰구간)을 대체하여, 관측된 데이터가 모형 구조, 편향의 부재, 데이터 무결성 등 전체 가정 집합과 얼마나 호환되는지를 평가하는 조건부가 아닌 기술로 바꾸자고 주장한다. 이 접근법은 가정에 대한 불확실성을 통계 보고에 직접 통합함으로써 과도한 자신감에 기반한 추론을 줄이고, 통계 교육 및 소통의 과학적 엄밀함을 강화한다.

ABSTRACT

We have elsewhere reviewed proposals to reform terminology and improve interpretations of conventional statistics by emphasizing logical and information concepts over probability concepts. We here give detailed reasons and methods for reinterpreting statistics (including but not limited to) P-values and interval estimates in unconditional terms, which describe compatibility of observations with an entire set of analysis assumptions, rather than just a narrow target hypothesis. Such reinterpretations help avoid overconfident inferences whenever there is uncertainty about the assumptions used to derive and compute the statistical results. Examples of such assumptions include not only standard statistical modeling assumptions, but also assumptions about absence of systematic errors, protocol violations, and data corruption. Unconditional descriptions introduce uncertainty about such assumptions directly into statistical presentations of results, rather than leaving that only to the informal discussion that ensues. We thus view unconditional description as a vital component of good statistical training and presentation.

연구 동기 및 목표

• 가정을 고정되고 확실한 것으로 간주함으로써 발생하는 통계적 추론에 대한 과도한 자신감을 해결하기 위해.
• 모델링과 데이터 품질에 대한 불확실성을 가림으로써 확률 기반 해석에 대한 의존도를 줄이기 위해.
• 가정을 조건부 기술이 아닌 데이터 호환성에 대한 조건부가 아닌 기술로 명시함으로써 통계 교육 및 보고를 향상시키기 위해.
• 체계적 오차, 프rotocol 위반, 데이터 손상에 대한 불확실성을 통계 결과에 직접 통합하여 형식적인 논의로 연기하지 않기 위해.

제안 방법

• P값과 구간 추정치를 단일 가설이 아니라 관측된 데이터와 전체 가정 집합 간의 호환성 척도로 재해석하기 위해.
• 통계 결과를 조건부가 아닌 진술로 프레임하여, 데이터가 모형 구조, 데이터 품질, 편향의 부재 등 모든 가정과 얼마나 잘 일치하는지를 반영하기 위해.
• 프로토콜 위반 또는 데이터 손상과 같은 가정에 대한 불확실성을 통계 출력 자체에 명시적으로 포함시키기 위해.
• 정보 이론적 및 논리적 개념을 사용해 호환성을 기술함으로써 확률 기반 해석에서 벗어나 더 넓은 증거 평가로 초점을 이동시키기 위해.
• 가정 불확실성을 결과에 직접 통합하는 템플릿을 제공하여 통계 결과 보고의 구조화를 위해.
• 이 접근법을 통계 교육에 통합하여 더 신중하고 투명한 추론 관행을 조장하기 위해.

실험 결과

연구 질문

• RQ1 P값과 신뢰구간은 어떻게 재해석되어야 하며, 이는 목표 가설뿐 아니라 기초 가정에 대한 불확실성을 반영할 수 있는가?
• RQ2 실제로 가정이 자주 불확실한 데도 불구하고 이를 확실한 것으로 간주할 경우의 결과는 무엇인가?
• RQ3 어떻게 하면 가정 불확실성을 결과에 명시적으로 드러내는 방식으로 통계 보고를 개선할 수 있는가?
• RQ4 조건부가 아닌 기술이 과학적 추론의 신뢰성에 어떻게 기여하는가?
• RQ5 가정 불확실성은 통계 교육 및 소통에서 어떤 역할을 해야 하는가?

주요 결과

• 조건부가 아닌 기술은 데이터가 전체 가정 집합과 얼마나 호환되는지를 명시적으로 드러내어 추론에 대한 과도한 자신감을 줄인다.
• 체계적 오차, 프로토콜 위반, 데이터 손상에 대한 불확실성을 통계 보고에 통합함으로써 연구자들은 오해를 불러일으킬 수 있는 결론을 피할 수 있다.
• 이 접근법은 확률 기반 해석에서 벗어나 논리적 및 정보 기반 증거 평가로 초점을 이동시켜 투명성을 향상시킨다.
• 가정 불확실성을 통계 출력에 직접 통합함으로써 이는 형식적인 논의로 연기하지 않고 과학적 추론을 강화한다.
• 조건부가 아닌 기술은 실제 연구 환경에서 견고한 통계 교육과 책임감 있는 데이터 해석을 위해 필수적이다.
• 조건부가 아닌 기술로 통계를 재해석함으로써 모형 및 데이터 불확실성 하에서 더 신뢰할 수 있고 타당한 과학적 결론을 도출할 수 있다.