[논문 리뷰] An introduction to Docker for reproducible research, with examples from the R environment

Carl Boettiger|arXiv (Cornell University)|2014. 10. 02.

Scientific Computing and Data Management참고 문헌 12인용 수 369

한 줄 요약

이 논문은 과학 연구에서 계산의 재현성 문제, 특히 R 환경에서의 문제를 해결하기 위해 도커를 제안한다. 운영 체제 수준의 가상화, 컨테이너의 이식성, 그리고 버전 관리 가능한 이미지를 활용함으로써 도커는 전체 계산 환경을 봉인하여 다양한 플랫폼 간 일관된 실행을 보장하고 재현 가능한 연구 워크플로우에서 의존성 관련 실패를 크게 줄인다.

ABSTRACT

As computational work becomes more and more integral to many aspects of scientific research, computational reproducibility has become an issue of increasing importance to computer systems researchers and domain scientists alike. Though computational reproducibility seems more straight forward than replicating physical experiments, the complex and rapidly changing nature of computer environments makes being able to reproduce and extend such work a serious challenge. In this paper, I explore common reasons that code developed for one research project cannot be successfully executed or extended by subsequent researchers. I review current approaches to these issues, including virtual machines and workflow systems, and their limitations. I then examine how the popular emerging technology Docker combines several areas from systems research - such as operating system virtualization, cross-platform portability, modular re-usable elements, versioning, and a `DevOps' philosophy, to address these challenges. I illustrate this with several examples of Docker use with a focus on the R statistical environment.

연구 동기 및 목표

• 복잡하고 변화하는 소프트웨어 환경으로 인해 증가하는 과학 연구에서의 계산 재현성 문제를 해결하기 위해.
• 도메인 과학자들이 재현 가능성을 지원하는 데에 한계가 있는 기존 접근 방식(예: 가상 머신 및 워크플로우 시스템)의 한계를 부각하기 위해.
• 도커의 경량 컨테이너화, 이식성, 그리고 버전 관리가 코드 재사용과 복제를 위한 기술적 장벽을 어떻게 극복할 수 있는지 보여주기 위해.
• 재현 가능하고 공유 가능하며 확장 가능한 연구를 지원하기 위해 R 통계 계산 환경에서 도커의 실용적 응용 사례를 제시하기 위해.
• 기술적 장벽을 줄여 코드 공유를 촉진함으로써 개방적이고 재현 가능한 과학으로의 문화적 전환을 지원하기 위해 도커의 도입을 장려하기 위해.

제안 방법

• 리눅스 컨테이너를 통한 운영 체제 수준의 가상화를 활용하여 R 및 관련 의존성, 시스템 라이브러리 등을 포함한 완전한 계산 환경을 봉인하기 위해.
• R, R 패키지, 분석 코드를 하나의 배포 가능한 단위로 묶는 모듈형이고 재사용 가능한 컨테이너 이미지를 구현하기 위해.
• 컨테이너 이미지의 변경 사항을 추적하고 특정 재현 가능한 상태로 롤백할 수 있도록 도커의 버전 관리 시스템을 활용하기 위해.
• 동적 문서(예: R 마크다운) 및 의존성 관리자(예: R의 packrat)와 같은 기존의 재현 가능한 연구 도구와 도커를 통합하기 위해.
• 게시된 결과에서 사용된 계산 환경의 비트 단위로 동일한 스냅샷을 보존하기 위해 전체 컨테이너 이미지를 tarball 형식으로 아카이브하기 위해.
• 다양한 운영 체제 간에 R 기반 분석을 도커 컨테이너를 통해 교차 플랫폼 배포하는 것을 시연하기 위해.

실험 결과

연구 질문

• RQ1 도커는 과학 계산, 특히 R 기반 연구에서 '의존성 혼란' 문제를 어떻게 완화할 수 있는가?
• RQ2 도커는 다양한 계산 환경 간에 R 기반 데이터 분석의 이식성과 재현 가능성을 어느 정도 향상시킬 수 있는가?
• RQ3 재현 가능한 연구 분야에서 도커를 사용할 때의 기술적 및 실용적 한계는 무엇인가?
• RQ4 도커의 접근 방식은 전통적인 방법(예: 가상 머신 또는 워크플로우 시스템)과 비교해 재현 가능성을 지원하는 데서 어떤가?
• RQ5 도커는 코드 재사용 장벽을 줄여 과학 연구에서의 공유 문화적 규범에 영향을 줄 수 있는가?

주요 결과

• 도커는 모든 필수 시스템 및 소프트웨어 의존성을 하나의 이식 가능한 컨테이너 이미지로 패키징함으로써 의존성 혼란 문제를 효과적으로 해결한다.
• 컨테이너라이즈드 R 환경은 다양한 플랫폼 간에 일관된 실행을 보장하여 재현 가능한 연구에서 환경 관련 실패를 크게 줄인다.
• 도커의 버전 관리 시스템은 컨테이너 이미지의 이전 상태로 롤백할 수 있게 하지만 개별 레이어를 되돌릴 수는 없으며, 비트 단위로 동일한 재현 가능성을 확보하기 위해 명시적인 tarball 아카이브가 필요하다.
• R 마크다운 및 packrat와 같은 R 도구와 함께 도커를 사용하면 동적 문서 생성까지 포함한 분석의 완전한 재현 가능성을 확보할 수 있다.
• 장점이 있음에도 불구하고 도커는 리눅스 커널에 의존하므로 비리눅스 시스템에서는 전체 가상화(예: boot2docker를 통한)가 필요하여 성능과 사용성에 영향을 미친다.
• 논문은 도커가 과학 분야의 재현 가능성 향상 잠재력을 지닌다고 결론 내리지만, 연구 공동체에서의 광범위한 도입 여부는 문화적 및 기술적 수용에 달려 있어 아직 불확실하다.