[논문 리뷰] Reproducible Research and GIScience: An Evaluation Using GIScience Conference Papers

Lorena A. Barba, Nüst, Daniel외 3명|arXiv (Cornell University)|2018. 02. 09.

Scientific Computing and Data Management참고 문헌 47인용 수 145

한 줄 요약

이 논문은 다양한 과학 분야에서 재현 가능한 연구의 모순되는 용어 사용을 평가하며, 두 가지 주요 관행을 규명한다: 하나는 '재현(reproduce)'을 동일한 코드/데이터를 다시 실행하여 결과를 검증하는 것으로 정의하는 것(Claerbout/Donoho), 다른 하나는 '재현(replicate)'을 새로운 데이터 또는 방법을 사용한 독립적 재분석으로 정의하는 것(Peng). 주요 기여는 분야 간 용어 사용의 체계적 맵핑으로, 학술 소통과 연구 윤리의 혼란을 해소하기 위한 표준화의 필수성을 드러낸다.

ABSTRACT

GIScience conference authors and researchers face the same computational reproducibility challenges as authors and researchers from other disciplines who use computers to analyse data. Here, to assess the reproducibility of GIScience research, we apply a rubric for assessing the reproducibility of 75 conference papers published at the GIScience conference series in the years 2012-2018. Since the rubric and process were previously applied to the publications of the AGILE conference series, this paper itself is an attempt to replicate that analysis, however going beyond the previous work by evaluating and discussing proposed measures to improve reproducibility in the specific context of the GIScience conference series. The results of the GIScience paper assessment are in line with previous findings: although descriptions of workflows and the inclusion of the data and software suffice to explain the presented work, in most published papers they do not allow a third party to reproduce the results and findings with a reasonable effort. We summarise and adapt previous recommendations for improving this situation and propose the GIScience community to start a broad discussion on the reusability, quality, and openness of its research. Further, we critically reflect on the process of assessing paper reproducibility, and provide suggestions for improving future assessments. The code and data for this article are published at https://doi.org/10.5281/zenodo.4032875.

연구 동기 및 목표

• 다양한 과학 분야의 과학 문헌에서 '재현(reproduce)'과 '재현(replicate)'의 다원적 사용을 식별하고 분류하는 것.
• 이러한 용어의 역사적 발전과 계산 및 경험적 연구 분야에서의 현재 적용을 검토하는 것.
• 주요 학술지 및 전문 협회(예: ACM, FASEB, American Journal of Political Science)가 이 용어를 어떻게 정의하고 적용하는지 평가하는 것.
• 용어의 일관성 부족이 연구 재현 가능성과 과학적 신뢰성에 미치는 영향을 평가하는 것.
• 계산 과학 및 경험적 연구 분야에서의 기존 관행과 일치시키기 위해 표준화로 나아갈 길을 제안하는 것.

제안 방법

• 142편의 GIScience 국제 학술 대회 논문을 대상으로 재현 가능성에 대한 용어 사용을 분석하기 위해 다분야 분석을 수행하였다.
• 의사결정 트리(Decision tree)를 적용하여 논문이 '재현'과 '재현'을 구분하는지, 그리고 구분할 경우 각 용어가 어떤 기준에 해당하는지 분류하였다.
• 정치학, 신호 처리, 역학, 계산 생물학 등 14개의 학문 분야에서 용어 사용을 맵핑하였다.
• 주요 출판사(예: Annals of Internal Medicine, Biostatistics, Genome Biology)의 정책 성명 및 학술지 지침을 검토하여 용어 기준을 비교하였다.
• Claerbout, Donoho, Peng, King의 기초적 연구를 분석하여 계산 및 경험적 연구 분야에서 용어의 진화를 추적하였다.
• 제3자 재현 검증(예: American Journal of Political Science) 및 ReScience의 명시적 재현 모델과 같은 저널 이니셔티브를 포함한 기관의 관행을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 과학 분야에서 재현 가능한 연구의 맥락에서 '재현(reproduce)'과 '재현(replicate)'을 어떻게 정의하고 적용하고 있는가?
• RQ2 재현성 분야에서 용어의 다원적 관행이 기인한 역사적 및 분야적 근본 원인은 무엇인가?
• RQ3 주요 학술지 및 전문 협회가 용어를 표준화하는 정도는 어느 정도이며, 그 정의는 기초적 연구와 얼마나 일치하는가?
• RQ4 왜 ACM과 FASEB는 광범위하게 사용되는 Claerbout/Donoho/Peng 프레임워크와 정반대되는 용어를 채택했는가?
• RQ5 정치학 및 경제학과 같은 분야에서 기존 관행을 훼손하지 않고도 용어 표준화를 달성할 수 있는가?

주요 결과

• 논문은 두 가지 주요 용어 사용 패러다임을 규명한다: A군(재현과 재현을 구분하지 않음)과 B군(용어를 구분함), B군은 다시 B1(재현 = 동일한 데이터 + 동일한 방법 → 동일한 결과)과 B2(재현 = 새로운 데이터 또는 방법 → 동일한 결과)로 나뉜다.
• Claerbout/Donoho 모델—'재현 가능한 연구'를 데이터와 코드를 공개하여 결과를 다시 실행할 수 있도록 하는 것—은 계산 과학, 통계학, 계산 생물학 분야에서 널리 채택되었다.
• 반면에, 정치학, 경제학, 역학 분야에서는 주로 '재현'을 새로운 데이터를 사용한 독립적 재분석으로 정의하며, Peng의 재현 정의(독립적 확인)와 일치한다.
• American Journal of Political Science 및 Biostatistics와 같은 학술지는 '재현 파일' 또는 '재현 가능한 연구' 기준을 정착시켰으며, 일부는 결과의 제3자 검증을 요구한다.
• ReScience 저널은 '재현'을 동일한 코드와 데이터를 사용해 정확성을 검증하는 것으로 정의하고, '재현'을 동일한 결과를 도출하기 위해 방법의 새로운 버전을 구현하는 것으로 정의한다.
• Claerbout/Donoho 용어 체계가 널리 채택된 바에도 불구하고, ACM과 FASEB는 국제 측정어휘(IVM) 등의 약한 근거를 들어 반대 관행을 채택하여 표준화의 주요 장애물이 되고 있다.