[논문 리뷰] Ten Simple Rules for Reproducible Research in Jupyter Notebooks

Adam Rule, Amanda Birmingham외 9명|arXiv (Cornell University)|2018. 10. 13.

Scientific Computing and Data Management참고 문헌 8인용 수 20

한 줄 요약

이 논문은 Jupyter 노트북을 사용한 재현 가능한 연구를 달성하기 위한 10개의 실행 가능한 규칙을 제시한다. 이는 구조화된 워크플로우, 버전 관리, 문서화, 그리고 오픈 사이언스 관행을 강조한다. 코드 조직, 기록 추적, 공동 개발의 최선의 실천 방식을 통합함으로써, 저자들은 노트북이 계산 과학을 위한 신뢰할 수 있고 재사용 가능하며 투명한 도구가 될 수 있음을 입증한다.

ABSTRACT

Reproducibility of computational studies is a hallmark of scientific methodology. It enables researchers to build with confidence on the methods and findings of others, reuse and extend computational pipelines, and thereby drive scientific progress. Since many experimental studies rely on computational analyses, biologists need guidance on how to set up and document reproducible data analyses or simulations. In this paper, we address several questions about reproducibility. For example, what are the technical and non-technical barriers to reproducible computational studies? What opportunities and challenges do computational notebooks offer to overcome some of these barriers? What tools are available and how can they be used effectively? We have developed a set of rules to serve as a guide to scientists with a specific focus on computational notebook systems, such as Jupyter Notebooks, which have become a tool of choice for many applications. Notebooks combine detailed workflows with narrative text and visualization of results. Combined with software repositories and open source licensing, notebooks are powerful tools for transparent, collaborative, reproducible, and reusable data analyses.

연구 동기 및 목표

• 생물학 및 데이터 과학 분야에서 재현 가능성에 대한 증가하는 수요를 해결하기 위해.
• 데이터 분석 워크플로우에서 재현 가능성을 저해하는 기술적 및 비기술적 장벽을 규명하기 위해.
• 더 나은 문서화, 버전 관리, 기록 추적를 통해 Jupyter 노트북이 이러한 장벽을 줄일 수 있는 방법을 탐색하기 위해.
• 과학자들이 재현 가능한 연구 관행을 구현할 수 있도록 실용적이고 실행 가능한 프레임워크를 제공하기 위해.
• 소프트웨어 저장소 및 오픈소스 라이선싱과 함께 노트북을 통합하여 오픈 사이언스를 촉진하기 위해.

제안 방법

• 재현 가능성을 보장하기 위해 Jupyter 노트북 사용자를 위한 10개의 단순하고 실용적인 규칙 세트를 개발하기 위해.
• 코드, 데이터, 문서화의 변경 사항을 추적하기 위해 버전 관리 시스템(예: Git)의 사용를 지지하기 위해.
• 명확성과 유지보수성 향상을 위해 함수와 재사용 가능한 구성 요소를 활용한 모듈식 코드 조직을 장려하기 위해.
• 노트북 자체에 가정, 데이터 소스, 계산 단계를 문서화하는 것의 중요성을 강조하기 위해.
• 일致한 실행 환경을 보장하기 위해 컨테이너화(예: Docker)와 환경 사양(예: conda)의 사용을 권장하기 위해.
• 노트북 출력의 재현 가능성을 장기간에 걸쳐 검증하기 위해 CI/CD 파이프라인과 자동화된 테스트에 노트북을 통합하기를 촉진하기 위해.

실험 결과

연구 질문

• RQ1 과학 워크플로우에서 재현 가능한 계산 과학 연구의 주요 기술적 및 비기술적 장벽은 무엇인가요?
• RQ2 Jupyter 노트북을 효과적으로 활용하여 이러한 장벽을 극복하고 연구의 투명성을 향상시킬 수 있는 방법은 무엇인가요?
• RQ3 연구자들이 자신의 노트북 기반 분석을 다양한 환경에서 재현 가능하도록 만들기 위해 채택할 수 있는 특정 실천 방식과 도구는 무엇인가요?
• RQ4 기록 추적과 버전 관리는 노트북 워크플로우에 어떻게 의미 있게 통합될 수 있나요?
• RQ5 오픈 사이언스 원칙—예를 들어 오픈 데이터와 라이선싱—은 노트북 기반 연구의 재사용 가능성에 어떤 역할을 하나요?

주요 결과

• 구조화된 노트북 워크플로우의 도입은 계산 과학 연구의 재현 가능성과 투명성을 크게 향상시킨다.
• 버전 관리 및 환경 관리(예: conda 또는 Docker를 통한)는 다양한 시스템에서 일致한 실행을 보장하는 데 필수적이다.
• 노트북 내부에서 데이터 소스, 가정, 분석 단계를 명확히 문서화하면 이해 가능성과 재사용성이 향상된다.
• 코드를 함수와 재사용 가능한 구성 요소로 모듈화하면 유지보수성 향상과 오류 감소에 기여한다.
• 소프트웨어 저장소 및 CI/CD 파이프라인과의 통합은 노트북 출력의 자동 검증을 가능하게 한다.
• 오픈 데이터와 라이선싱을 포함한 오픈 사이언스 관행은 노트북 기반 연구의 재사용 가능성과 영향력을 증가시킨다.