[논문 리뷰] The Rise of Null Hypothesis Significance Testing (NHST): Institutional Massification and the Emergence of a Procedural Epistemology

Carol Ting|arXiv (Cornell University)|2026. 03. 16.

Information Systems Theories and Implementation인용 수 0

한 줄 요약

이 논문은 NHST가 전후의 제도적 대량화 속에서 생겨난 사회기술로 제시하고, 맥락적 인식 판단을 대신해 절차적 규칙을 채택함으로써 설명한다.

ABSTRACT

It has long been a puzzle why, despite sustained reform efforts, many applied scientific fields remain dominated by Null Hypothesis Significance Testing (NHST), a framework that dichotomizes study results and privileges "statistically significant" findings. This paper examines that puzzle by situating the development and rise of NHST within its historical and institutional context. Taking Actor-Network Theory as a point of entry, the analysis identifies the conditions under which particular inferential technologies stabilize and endure. The analysis shows that, although NHST does not resolve the technical problem of statistical inference, it came to dominate as a social technology that addressed the most pressing institutional challenge of the postwar period: the mass expansion of scientific networks. Under conditions of rapid institutional growth, NHST's technical slippages--purging research context and replacing epistemic judgment with mechanical procedures--became functional features rather than flaws. These features enabled procedural self-sufficiency across settings marked by heterogeneous goals and uneven expertise, thereby sealing NHST's position as the obligatory passage point in many postwar scientific fields.

연구 동기 및 목표

• 응용 과학의 개혁 노력에도 불구하고 NHST의 지속성을 동기화하고 설명한다.
• 행위자-네트워크 이론을 사용해 NHST의 발전을 역사적 및 제도적 맥락 안에서 구성한다.
• 빠르게 확장하는 과학적 네트워크에서 추론 기술이 어떻게 안정화되고 지속되는지 밝힌다.

제안 방법

• NHST가 어떻게 안정된 사회기술이 되었는지 추적하기 위해 행위자-네트워크 이론을 적용한다.
• NHST 채택과 지속을 촉진한 역사적 및 제도적 상황을 분석한다.
• 연구 맥락을 기계적 절차로 추상화하는 절차적 기술로서 NHST를 특징지인다.

실험 결과

연구 질문

• RQ1 NHST의 부상과 지배에 기여한 제도적·역사적 요인은 무엇인가?
• RQ2 NHST가 과학 네트워크의 대규모 확장을 다루기 위한 사회기술로서 어떻게 기능하는가?
• RQ3 NHST의 어떤 특징이 그것을 순수한 기술적 추론 방법이 아닌 절차적 인식론으로 만들었는가?

주요 결과

• NHST는 전후의 과학 네트워크 제도적 대량화를 다루는 사회기술로서 지배적이었다.
• NHST의 기술적 미끄러짐—맥락 제거 및 인식 판단을 기계적 절차로 대체—는 결함이 아니라 기능적 특징이 되었다.
• 이 특징들은 이질적 환경과 고른 전문성이 없는 상황에서도 절차적 자급자족을 가능하게 한다.
• 확대되는 네트워크에서의 안정화 역할로 인해 NHST는 많은 전후 과학 분야에서 필수 통과점이 된다.