[논문 리뷰] The Need for a Versioned Data Analysis Software Environment

Jakob Blomer, D. Berzano외 5명|arXiv (Cornell University)|2014. 07. 11.

Distributed and Parallel Computing Systems참고 문헌 8인용 수 3

한 줄 요약

논문은 과학 소프트웨어 바이너리의 분포를 최적화한, 내용 기반 주소 지정 가능하고 버전 관리가 가능한 파일 시스템인 CernVM-FS를 제안한다. 이는 복잡하고 재현 가능한 데이터 분석 환경의 효율적 스크래치 및 배포를 가능하게 하며, 소프트웨어를 한 번만 중앙 서버에 저장하고 HTTP를 통해 캐싱을 통해 배포함으로써, 배포 시간을 수일에서 한 시간 이내로 단축시킨다. 이로써 이전의 분석 환경을 버전 관리된 스냅샷으로 유지할 수 있다.

ABSTRACT

Scientific results in high-energy physics and in many other fields often rely on complex software stacks. In order to support reproducibility and scrutiny of the results, it is good practice to use open source software and to cite software packages and versions. With ever-growing complexity of scientific software on one side and with IT life-cycles of only a few years on the other side, however, it turns out that despite source code availability the setup and the validation of a minimal usable analysis environment can easily become prohibitively expensive. We argue that there is a substantial gap between merely having access to versioned source code and the ability to create a data analysis runtime environment. In order to preserve all the different variants of the data analysis runtime environment, we developed a snapshotting file system optimized for software distribution. We report on our experience in preserving the analysis environment for high-energy physics such as the software landscape used to discover the Higgs boson at the Large Hadron Collider.

연구 동기 및 목표

• 고에너지 물리학에서 소프트웨어 스택이 복잡하고 급격히 변화하기 때문에, 과학적 데이터 분석 환경을 재현하는 데 도전하는 문제를 해결하기 위해.
• 오래된 또는 비버전화된 종속성으로 인해 기존 분석 환경의 설정 시간이 길고 실수를 유발하기 쉬운 문제를 해결하기 위해.
• 컴pile르, 라이브러리, 시스템 도구를 포함한 완전하고 사용 가능한 데이터 분석 환경의 장기적 보존을 가능하게 하기 위해.
• 특히 LHC와 같은 대규모 실험에 적합하게, 글로벌 컴퓨팅 인fra에서 과학 소프트웨어의 배포 오버헤드를 줄이기 위해.
• 소스 코드뿐 아니라 바이너리 소프트웨어 배포를 위한 확장성 있고 효율적인 방법으로, 재현 가능성을 지원하기 위해 버전 관리 및 소프트웨어 배포를 가능하게 하기 위해.

제안 방법

• 소프트웨어 배포 및 버전 관리를 최적화한 분산형, 내용 기반 주소 지정 가능한 파일 시스템인 CernVM-FS를 설계하고 구현한다.
• 소프트웨어 바이너리, 컴파일러, 도구, 운영체제 구성 요소를 중앙 서버에 저장하고, 글로벌 캐싱 프록시를 통해 HTTP를 통해 클라이언트에 전달한다.
• 해시 트리와 내용 기반 주소 지정 저장소를 사용하여 데이터 중복 제거, 효율적 캐싱, 파일 시스템 스냅샷의 네이티브 지원을 가능하게 한다.
• 클라이언트 머신에서 파일 시스템의 어떤 이력 스냅샷이라도 마운트할 수 있도록 하여 전체 분석 환경의 과거 버전에 접근할 수 있도록 한다.
• CernVM-FS를 가상 머신 이미지에 통합하여, OS 커널과 클라이언트 소프트웨어만 저장함으로써 전체 OS 이미지를 다시 빌드할 필요를 줄인다.
• 기존 인프라와 프로토콜을 활용하여 기존 워크플로우에 최소한의 변화를 주면서도, 버전 관리 및 재현 가능한 환경을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시스템 수준의 소프트웨어, 컴파일러, 라이브러리를 포함한 완전하고 버전 관리된 데이터 분석 환경을 효율적으로 보존하고 재현하는 방법은 무엇인가?
• RQ2 글로벌 컴퓨팅 인fra에서 역사적으로 정확한 분석 환경을 배포하는 데 소요되는 시간과 복잡성을 줄일 수 있는 메커니즘은 무엇인가?
• RQ3 독립된 릴리스 주기를 가진 수백 개의 과학 소프트웨어 구성 요소 간의 상호의존성을 어떻게 관리할 수 있는가?
• RQ4 버전 관리가 되고 분산된 파일 시스템이 고에너지 물리학 분야에서 과학적 결과의 장기적 재현 가능성을 어떻게 지원할 수 있는가?
• RQ5 현재의 소프트웨어 버전 관리 시스템이 바이너리 소프트웨어 배포에 적용되었을 때의 한계는 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• LHC 실험에서 신규 소프트웨어 릴리스를 빌드한 후 글로벌 롤아웃까지의 시간을 수일에서 한 시간 이내로 단축시켰다.
• 시스템은 어떤 이력 스냅샷이라도 투명하게 접근할 수 있도록 하여, 소프트웨어 환경에 대한 '시간 기반 기계'를 실제로 만들어냈다.
• 내용 기반 주소 지정 저장소와 글로벌 캐싱을 활용하여, 지리적으로 분포된 클라이언트 간에 높은 데이터 중복 제거율과 효율적인 배포를 달성했다.
• VM에 저장할 필요가 있는 것은 OS 커널과 클라이언트 소프트웨어 뿐이므로, 가상 머신 이미지를 다시 빌드할 필요가 크게 줄었다.
• 특정 컴파일러 및 라이브러리 버전 수준까지도, 힉스 보손 발견에 사용된 것과 같은 복잡한 다중 구성 요소 소프트웨어 스택의 보존을 지원한다.
• 스냅샷 간의 변화 내용을 추적하는 기능이 현재는 네이티브로 구현되어 있지 않아, 환경 간의 차이를 추적하는 데 제한이 있다.