[논문 리뷰] Enhancing reproducibility and collaboration via management of R package cohorts

Gabriel Becker, Cory Barr외 2명|arXiv (Cornell University)|2015. 01. 09.

Scientific Computing and Data Management참고 문헌 2인용 수 4

한 줄 요약

이 논문은 과학 계산 분야에서 재현성과 협업을 향상시키기 위해, 버전화된 매니페스트를 사용하여 R 패키지 코hort를 관리하는 프레임워크를 제안한다. 이 프레임워크는 패키지 매니페스트를 통해 다양한 소스에서 정확한 버전을 추적함으로써 일관된 소프트웨어 환경을 생성, 전환 및 배포할 수 있도록 하며, 설치, 기원 추적, 게재를 위한 도구를 제공한다. 이는 switchr와 GRANbase를 통해 구현되었으며, Artistic 2.0 라이선스 하에 공개되었다.

ABSTRACT

Science depends on collaboration, result reproduction, and the development of supporting software tools. Each of these requires careful management of software versions. We present a unified model for installing, managing, and publishing software contexts in R. It introduces the package manifest as a central data structure for representing version specific, decentralized package cohorts. The manifest points to package sources on arbitrary hosts and in various forms, including tarballs and directories under version control. We provide a high-level interface for creating and switching between side-by-side package libraries derived from manifests. Finally, we extend package installation to support the retrieval of exact package versions as indicated by manifests, and to maintain provenance for installed packages. The provenance information enables the user to publish libraries or sessions as manifests, hence completing the loop between publication and deployment. We have implemented this model across two software packages, switchr and GRANbase, and have released the source code under the Artistic 2.0 license.

연구 동기 및 목표

• R 기반 연구에서 협업자 간 및 분석 간 소프트웨어 버전의 일관성 부족으로 인한 재현성 저하 문제를 해결하기 위해.
• 사용자가 고립된, 특정 버전에 기반한 소프트웨어 환경(패키지 코hort)을 정의하고 관리하며 전환할 수 있도록 하기 위해.
• CRAN 이외의 소스에서 정확한 패키지 버전을 설치할 수 있도록 지원하기 위해, 특히 버전 관리 시스템과 압축된 tarball을 포함하여.
• 완전한 소프트웨어 환경을 자가 포함된, 버전화된 매니페스트로 게재하고 배포할 수 있는 메커니즘을 제공하기 위해.
• 기원 추적과 매니페스트 기반 소프트웨어 환경 재구성 기능을 통해 발표와 배포 사이의 루프를 완성하기 위해.

제안 방법

• 정확한 패키지 버전과 그 소스(예: CRAN, Bioconductor, Git 저장소, 로컬 디렉터리 포함)를 나열하는 중심 데이터 구조로 패키지 매니페스트를 도입한다.
• 현재 라이브러리나 세션에서 매니페스트를 생성하기 위해 `libManifest()` 함수를 사용하여 전체 소프트웨어 환경을 캡처한다.
• 매니페스트 기반으로 고립된 R 라이브러리 환경을 생성하고 관리하기 위해 `switchTo()` 및 `switchBack()` 함수를 활용한다.
• 표준 R 설치 메커니즘을 사용하여 매니페스트에서 정확한 패키지 버전을 설치할 수 있도록 하며, 재현 가능성을 위해 기원 추적 기능을 제공한다.
• GitHub gists로 매니페스트를 게시하기 위해 `switchrGist` 패키지를 활용하여 쉬운 공유와 배포를 지원한다.
• crandb와 통합하여 날짜나 R 버전 기반으로 과거의 패키지 코hort를 후행적으로 설치할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 R 사용자가 협업자 간 및 시간 지점 간에 정확한 소프트웨어 환경을 재현하고 공유할 수 있는 방법은 무엇인가?
• RQ2 분산형, 매니페스트 기반 시스템이 버전 기반 패키지 코hort를 다양한 소스(버전 관리 및 아카이브 포함)에서 효과적으로 관리할 수 있는가?
• RQ3 기원 정보를 어떻게 캡처하고 활용하여 완전한 소프트웨어 환경을 게재하고 재배포할 수 있는가?
• RQ4 기본 매니페스트나 sessionInfo가 없을 경우, 과거의 CRAN 상태를 얼마나 정확히 추정하고 소프트웨어 환경을 복구하는 데 활용할 수 있는가?
• RQ5 이 프레임워크는 동적 문서 및 과학 출판의 자동화된 재현 워크플로우를 지원하기 위해 확장될 수 있는가?

주요 결과

• 패키지 매니페스트 모델은 완전하고 특정 버전에 기반한 소프트웨어 환경을 성공적으로 캡처하고 표현하여, 다양한 환경 간 일관된 배포를 가능하게 한다.
• 이 프레임워크는 기본 사이트 라이브러리에 영향을 주지 않으면서 고립된 R 라이브러리 간 전환을 허용하여 재현성과 의존성 충돌 방지를 보장한다.
• 매니페스트에서의 설치는 Git 저장소와 압축된 tarball을 포함한 리포지터리 외 소스에서 정확한 버전을 확보할 수 있도록 하여 유연성과 이식성을 향상시킨다.
• 설치된 패키지의 기원 추적 기능을 통해 사용자는 전체 소프트웨어 환경을 재사용 가능하고 버전화된 매니페스트로 게재하고 재배포할 수 있다.
• crandb와의 통합을 통해 날짜나 R 버전 기반으로 과거의 패키지 코hort를 후행적으로 재구성할 수 있어 오래된 연구의 재현성을 지원한다.
• 이 프레임워크는 Artistic 2.0 라이선스 하에 공개된 두 개의 오픈소스 패키지인 switchr와 GRANbase를 통해 구현되었으며, 소스 코드는 GitHub에서 이용 가능하다.