[논문 리뷰] Overcoming Barriers to Computational Reproducibility

Roman Hornung, László Németh외 14명|arXiv (Cornell University)|2026. 01. 27.

Scientific Computing and Data Management인용 수 1

한 줄 요약

이 논문은 계산 재현성의 이점을 종합하고, 장벽을 확인하며, 학제 간 재현 가능한 분석을 촉진하기 위한 실용적 지침과 조화를 이룬 표준 개념을 저널에 제시한다.

ABSTRACT

Computational reproducibility, the possibility for independent researchers to exactly reproduce published empirical results, is fundamental to science. Despite its importance, the proportion of research articles aiming for reproducibility remains low and uneven across disciplines. Barriers include a perceived lack of incentives for researchers and journals, practical challenges in preparing reproducible materials, and the absence of harmonised standards of reproducibility processes and requirements by journals. Existing guidance is often highly technical, reaching mainly those already engaged with reproducible research. In this paper, we first synthesize evidence on the benefits of reproducibility for both authors and journals. Drawing on our extensive experience in reproducibility checking at various journals, we then put forward concise, pragmatic guidelines for creating reproducible analyses across disciplines. We further review current reproducibility policies of selected journals, illustrating the substantial heterogeneity in requirements and procedures. Motivated by the latter, we propose conceptual foundations for a harmonised multi-tier system of reproducibility standards that could support transparent, consistent assessment across journals and research communities. Our goal as journal (reproducibility) editors and contributors to the MaRDI initiative is to encourage broader adoption of reproducibility practices, in particular by lowering practical barriers for authors and journals.

연구 동기 및 목표

• 저자와 저널을 위한 재현성의 이점에 대한 증거를 요약한다.
• 연구자와 저널 간 재현성 도입을 감소시키는 주요 장벽을 식별한다.
• 학제 간 재현 가능한 분석을 만들기 위한 간결하고 실행 가능한 지침을 제공한다.
• 선정된 저널의 현재 재현성 정책을 검토하여 이질성을 보여준다.
• 재현성 표준의 조화된 다계층 시스템에 대한 개념적 토대를 제안한다.

제안 방법

• 여러 저널에서의 재현성 점검에 대한 기존 문헌과 실무 경험을 종합한다.
• 저자들의 오랜 재현성 편집자 역할을 바탕으로 지침을 제시한다.
• 다양한 계산 전문 지식을 가진 독자들이 접근할 수 있는 간결하고 실용적인 지침을 제시한다.
• 요구사항 및 절차의 이질성을 강조하기 위해 현재 저널 정책을 분석한다.
• 저널 간 평가를 지원하기 위해 조화된 재현성 표준의 개념적 토대를 제안한다.

실험 결과

연구 질문

• RQ1 저자와 저널을 위한 재현 가능한 연구의 이점은 무엇인가?
• RQ2 폭넓은 독자층의 재현성 장벽을 낮추는 실용적 지침은 무엇인가?
• RQ3 현재의 저널 재현성 정책은 학문 분야와 저널에 따라 어떻게 다른가?
• RQ4 조화된 다계층 재현성 표준을 뒷받침할 수 있는 개념적 프레임워크는 어떤 것인가?

주요 결과

• 재현성 관행은 연구자들에게 재사용 용이와 결과에 대한 신뢰 증가를 포함한 실용적인 작업 흐름과 향후 연구 이점을 제공합니다.
• 공개 코드와 데이터는 더 높은 인용 수와 더 큰 방법론적 영향과 관련이 있습니다.
• 저널은 재현성 정책으로써 품질 신호를 얻고 제출 품질 및 투명성을 개선하는 이점을 누립니다.
• 현재 저널 재현성 정책에는 상당한 이질성이 있어 조화된 표준의 필요성을 강조합니다.
• 가벼운 재현성 요건조차도 투명성과 과학적 엄밀성을 실질적으로 향상시킬 수 있습니다.