[논문 리뷰] Reproducible Research is more than Publishing Research Artefacts: A Systematic Analysis of Jupyter Notebooks from Research Articles

Max Schröder, Frank Krüger외 1명|arXiv (Cornell University)|2019. 04. 08.

Scientific Computing and Data Management인용 수 5

한 줄 요약

이 연구는 연구 논문과 함께 게재된 Jupyter 노트북의 재현 가능성에 대해 평가하며, 투명성 잠재력에도 불구하고 대부분의 노트북이 환경 문서화 부족, 의존성의 버전 관리 누락, 데이터 접근 불가로 인해 완전한 재현성을 확보하지 못하고 있음을 발견한다. 22개의 노트북 중 유일하게 전체적으로 재실행되어 동일한 출력을 낸 것은 3개에 불과하여, 단순 출판을 넘어서 연구 자료 공유의 핵심 격차를 드러낸다.

ABSTRACT

With the advent of Open Science, researchers have started to publish their research artefacts (i. e., data, software, and other products of the investigations) in order to allow others to reproduce their investigations. While this publication is beneficial for science in general, it often lacks a comprehensive documentation and completeness with respect to the artefacts. This, in turn, prevents the successful reproduction of the analyses. Typical examples are missing scripts, incomplete datasets or specification of used software. Moreover, issues about licences often create legal concerns. This is true for the use of commercial software but also for the publication of research artefacts without proper sharing licence. As a result, the sole publication of research artefacts does not automatically result in reproducible research. To empirically confirm this, we have been systematically analysing research publications that also published their investigations as Jupyter notebooks. In this paper, we present preliminary results of this analysis for five publications. The results show, that the quality of the published research artefacts must be improved in order to assure reproducibility.

연구 동기 및 목표

• 연구 논문과 함께 게재된 Jupyter 노트북의 재현 가능성 평가
• 재현성을 저해하는 문서화, 환경 사양, 자료 가용성의 격차 특정
• 게재된 노트북가 원래 결과와 동일한 출력을 낼 수 있도록 성공적으로 재구성 및 재실행 가능한지 평가

제안 방법

• 2018년도 논문 중 Jupyter 노트북(.ipynb 파일)을 연구 자료로 포함한 논문을 PubMed Central (PMC)에서 검색
• 누락되거나 관련 없는 노트북이 포함된 논문을 제외하고 36개의 관련 논문 선정
• 랜덤으로 선정된 5개 논문에 대해, 노트북 문서화 기반으로 Docker 및 conda를 사용해 컴퓨팅 환경 재구성
• 재구성된 환경을 사용해 모든 노트북 셀을 실행하고, nbdime를 통해 원본 결과와 출력 비교
• 다음 6가지 기준에 따라 재현 가능성 평가: 노트북 수, 문서화 위치, 요구사항 문서화, 환경 가용성, 데이터 가용성, 출력 재현 가능성

실험 결과

연구 질문

• RQ1 연구 논문에서 언급된 Jupyter 노트북 수와 실제로 게재된 수는 각각 얼마인가?
• RQ2 소스 코드 자료 및 그 문서화는 어디에 호스팅되어 있으며, 버전 관리는 명시되어 있는가?
• RQ3 노트북을 실행하기 위해 필요한 소프트웨어 환경이 게재된 문서로 재구성 가능한가?
• RQ4 연구의 완전한 원시 데이터가 재실행을 위해 가용한가?
• RQ5 노트북가 원래 출력을 재현할 수 있는 정도는 어느 정도인가?

주요 결과

• 5개 논문에서 분석한 22개의 Jupyter 노트북 중 유일하게 재실행 후 동일한 출력을 낸 것은 3개에 불과했다.
• 22개의 노트북 중 9개에서 컴퓨팅 환경 재구성이 성공했으며, 주로 의존성 사양이 불완전하거나 누락되어서 실패한 경우가 많았다.
• 대부분의 저장소에서 소스 코드의 버전 관리 링크가 누락되어 있었으며, 소스 코드 자료의 67%는 라이선스를 제공하지 않아 재사용을 제한했다.
• 단 한 개의 프로젝트만 컨테이너화(Docker)를 사용해 환경 일관성을 확보했고, 나머지는 수동 재구성 필요했다.
• 3개의 노트북은 데이터 누락으로 실패했으며, 다른 노트북들은 환경 재구성이 성공했음에도 불구하고 미할당된 상수나 누락된 임포트로 인해 실패했다.
• 소프트웨어 요구사항 문서화는 노트북 내부에서 거의 없었고, 저장소 전반에 산재해 있었으며, 전용 문서화 도구인 Read the Docs나 mkdocs를 사용한 프로젝트는 오직 두 개에 불과했다.