[논문 리뷰] The State of Play of Reproducibility in Statistics: An Empirical Analysis

Xin Xiong, Ivor Cribben|arXiv (Cornell University)|2022. 01. 01.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 경험적 연구는 2010년에서 2021년 사이에 출판된 93편의 fMRI 기반 통계 논문에서 결과를 재현해보는 방식으로 통계 분야의 재현 가능성(reproducibility)을 평가한다. 유일하게 완전히 재현 가능한 논문은 14편(15.1%)에 불과했으며, 실행 가능한 코드와 실제 데이터가 모두 제공되어 결과가 일치했음에도 불구하고, 통계 분야가 자진해서 공개를 약속하고 있음에도 불구하고 재현 가능성의 심각한 격차가 존재함을 시사한다.

ABSTRACT

Reproducibility, the ability to reproduce the results of published papers or studies using their computer code and data, is a cornerstone of reliable scientific methodology. Studies where results cannot be reproduced by the scientific community should be treated with caution. Over the past decade, the importance of reproducible research has been frequently stressed in a wide range of scientific journals such as <i>Nature</i> and <i>Science</i> and international magazines such as <i>The Economist</i>. However, multiple studies have demonstrated that scientific results are often not reproducible across research areas such as psychology and medicine. Statistics, the science concerned with developing and studying methods for collecting, analyzing, interpreting and presenting empirical data, prides itself on its openness when it comes to sharing both computer code and data. In this article, we examine reproducibility in the field of statistics by attempting to reproduce the results in 93 published papers in prominent journals using functional magnetic resonance imaging (fMRI) data during the 2010–2021 period. Overall, from both the computer code and the data perspective, among all the 93 examined papers, we could only reproduce the results in 14 (15.1%) papers, that is, the papers provide both executable computer code (or software) with the real fMRI data, and our results matched the results in the paper. Finally, we conclude with some author-specific and journal-specific recommendations to improve the research reproducibility in statistics.

연구 동기 및 목표

• 통계 연구의 현재 재현 가능성 상태, 특히 fMRI 연구 분야에서의 재현 가능성 수준을 평가하기 위해.
• 출판된 통계 논문에서 컴퓨터 코드와 실제 데이터의 가용성 및 사용 가능성을 조사하기 위해.
• 재현 가능성의 주요 장애 요인, 예를 들어 파일 누락, 소프트웨어 종속성 문제, 문서화되지 않은 코드 등을 규명하기 위해.
• 통계 분야가 코드와 데이터 공유에 있어 자발적인 개방성에 비해 실제로 그 이론이 실천되고 있는지 평가하기 위해.
• 저자와 저널이 통계 연구의 재현 가능성 기준을 향상시키기 위해 실천 가능한 권고안을 제공하기 위해.

제안 방법

• 2010년에서 2021년 사이에 출간된 일곱 개의 주요 저널에서 선정된 93편의 fMRI 기반 통계 논문을 대상으로 하였다.
• 제공된 컴퓨터 코드와 실제 fMRI 데이터를 사용하여 결과를 재현하고자 하였으며, 재현 가능성은 분석을 다시 실행하고 결과가 출판된 내용과 일치하는 능력으로 간주하였다.
• 코드의 완전성, 정확성, 종속성 문제를 평가하였으며, 이는 누락된 파일, 손상된 패키지, 충족되지 않은 소프트웨어 요구사항을 포함한다.
• 데이터의 가용성, 즉 원시 데이터, 전처리된 데이터 또는 시뮬레이션된 데이터가 제공되었는지, 그리고 사용 가능한지 평가하였다.
• 코드 실행과 결과 일치 여부를 기반으로 재현 가능성 결과를 '완전히 재현 가능한', '부분적으로 재현 가능한', 또는 '재현 불가능한'으로 분류하였다.
• 정책 권고를 위한 근거로, 저널 수준과 저자 수준의 재현 가능성 패턴을 분석하였다.

실험 결과

연구 질문

• RQ1 2010년에서 2021년 사이에 출판된 통계 fMRI 연구 중 제공된 코드와 데이터를 사용하여 완전히 재현 가능한 비율은 어느 정도인가?
• RQ2 통계 연구에서 재현 가능성을 저해하는 데 가장 흔한 기술적 및 절차적 장애 요인은 무엇인가?
• RQ3 저널의 정책과 저자들의 관행은 코드와 데이터의 가용성 및 사용 가능성에 어떤 영향을 미치는가?
• RQ4 누락된 종속성, 문서화되지 않은 코드, 또는 불완전한 데이터 세트는 통계 출판물의 재현 가능성에 어느 정도 영향을 미치는가?
• RQ5 통계 연구의 재현 가능성 수준을 크게 향상시킬 수 있는 기관 또는 정책 수준의 변화는 무엇인가?

주요 결과

• fMRI 기반 통계 논문 93편 중 유일하게 완전히 재현 가능한 논문은 14편(15.1%) 뿐이었으며, 실행 가능한 코드와 실제 데이터가 모두 제공되어 결과가 일치하였다.
• 코드를 제공한 논문 중 47편(50.5%)은 누락된 파일, 충족되지 않은 소프트웨어 종속성, 또는 실행 시 잘못된 결과를 유도하는 문제를 겪었다.
• 매우 많은 수의 논문이 비공개 또는 접근 불가능한 데이터에 의존하였으며, 28편의 논문은 시뮬레이션된 데이터나 부분적으로 전처리된 데이터만 제공하였다.
• 흔한 기술적 실패 사례로는 누락된 R 함수(예: 'dlda' not found), 누락된 C++ 헤더 파일(예: 'bayes_gfl.h'), 그리고 충족되지 않은 시스템 요구사항(예: 'nvcc: Command not found') 등이 있었다.
• 통계 분야가 공개를 자처하고 있음에도 불구하고, 84.9%의 논문이 기본적인 재현 가능성 기준을 충족하지 못하여, 정책와 실천 사이에 심각한 격차가 있음을 시사한다.
• 저널 수준의 정책는 일관성이 없었으며, 코드 및 데이터 공유에 대한 표준화된 요구사항이 없었으며, 이는 더 강력한 기관적 시행이 필요함을 시사한다.