[논문 리뷰] Building Containerized Environments for Reproducibility and Traceability of Scientific Workflows

Paula Olaya, Jay Lofstead외 1명|arXiv (Cornell University)|2020. 09. 17.

Scientific Computing and Data Management참고 문헌 6인용 수 6

한 줄 요약

이 논문은 Singularity를 사용하여 운영체제 수준의 컨테이너 환경을 제안하여 과학적 워크플로의 재현 가능성, 추적 가능성, 재현 가능성을 보장한다. 데이터와 애플리케이션을 격리된 컨테이너에 봉인하고 자동으로 메타데이터를 캡처함으로써 이루어진다. 이 방법은 컨테이너 간에 복사 없음 데이터 전송을 가능하게 하며, 장시간 실행되는 워크플로의 오버헤드를 줄이고, 최소한의 성능 비용으로 데이터와 메타데이터 간의 밀접하고 자동 연결을 제공한다.

ABSTRACT

Scientists rely on simulations to study natural phenomena. Trusting the simulation results is vital to develop sciences in any field. One approach to build trust is to ensure the reproducibility and traceability of the simulations through the annotation of executions at the system-level; by the generation of record trails of data moving through the simulation workflow. In this work, we present a system-level solution that leverages the intrinsic characteristics of containers (i.e., portability, isolation, encapsulation, and unique identifiers). Our solution consists of a containerized environment capable to annotate workflows, capture provenance metadata, and build record trails. We assess our environment on four different workflows and measure containerization costs in terms of time and space. Our solution, built with a tolerable time and space overhead, enables transparent and automatic provenance metadata collection and access, an easy-to-read record trail, and tight connections between data and metadata.

연구 동기 및 목표

• 시스템 수준의 기록 캡처를 통해 과학적 워크플로에서 재현 가능성, 재현 가능성, 추적 가능성 확보의 과제를 해결하기 위해.
• 현대의 컨테이너 기술을 활용하여 강력한 격리성과 이식 가능성을 제공함으로써 이전의 시스템 수준 솔루션의 한계를 극복하기 위해.
• 기본 코드를 수정하지 않고도 데이터와 애플리케이션에 메타데이터를 자동으로 수집하고 연결하는 워크플로 환경을 설계하기 위해.
• 다양한 과학적 워크플로에서 시간과 공간 측면의 컨테이너화 오버헤드를 평가하기 위해.
• 복잡한 과학적 워크플로 전반에서 데이터와 메타데이터의 투명하고 자동적이며 인간이 읽을 수 있는 기록 트레일을 제공하기 위해.

제안 방법

• Singularity를 사용하여 과학적 워크플로의 각 구성 요소—데이터와 애플리케이션—을 별도의 격리된 컨테이너에 봉인한다.
• 입력 컨테이너와 출력 컨테이너 간의 디렉터리를 직접 연결함으로써 Singularity의 바인드 마운트 기능을 확장하여 복사 없음 데이터 전송 메커니즘을 구현한다.
• 사용자 정의 Singularity 플러그인을 사용하여 모든 워크플로 구성 요소(데이터, 애플리케이션, 컨테이너)에서 정적 메타데이터를 자동으로 추출한다.
• 메타데이터를 전용의 격리된 컨테이너에 저장하거나 출력 데이터 컨테이너 내부의 JSON 파artition에 저장하여 추적 가능성을 확보한다.
• 컨테이너 고유 식별자와 시스템 수준 훅을 사용하여 워크플로 실행의 종단 간 추적 가능성과 무결성을 보장한다.
• 시각화 및 머신러닝 워크로드를 포함한 점차적으로 복잡도가 높아지는 네 가지 시나리오를 통해 워크플로를 실행하여 접근 방식의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 운영체제 수준의 컨테이너 환경이 과학적 워크플로에서 데이터와 애플리케이션에 메타데이터를 자동으로 캡처하고 연결할 수 있는가?
• RQ2 컨테이너화의 성능 오버헤드가 크기와 실행 시간이 다른 워크플로에 어떻게 영향을 미치는가?
• RQ3 기존의 두 번 복사하는 방식에 비해 컨테이너 간 복사 없음 데이터 전송이 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 솔루션이 기본 과학적 애플리케이션을 수정하지 않고도 재현 가능성과 추적 가능성을 보장할 수 있는가?
• RQ5 복잡하고 다중 구성 요소로 이루어진 워크플로 전반에서 메타데이터는 인간이 읽을 수 있고 구조화된 형식으로 어떻게 유지되고 접근되는가?

주요 결과

• 복사 없음 데이터 전송 방법은 두 번 복사하는 방식 대비 평균으로 60.94%의 월클락 타임 속도 향상을 달성하여 성능 향상이著명하다.
• 컨테이너화로 인한 시간 오버헤드는 더 크고 장시간 실행되는 워크플로에서는 감당 가능한 수준이 되어 실제 과학적 워크로드에 실용적이게 된다.
• 공간 오버헤드는 주로 운영체제, 소프트웨어 스택, 파일 시스템에 의해 결정되며, 데이터 컨테이너는 측정 가능한 증가가 있지만 관리 가능하다.
• 프로토타입은 단순한 시각화에서 복잡한 머신러닝 모델에 이르기까지 평가된 네 워크플로 전반에 대해 완전하고 자동적이며 인간이 읽을 수 있는 기록 트레일을 성공적으로 구축했다.
• 컨테이너 식별자와 시스템 수준 훅을 통해 메타데이터가 데이터와 애플리케이션에 밀접하게 연결되어 종단 간 추적 가능성을 보장했다.
• 기본 과학적 애플리케이션에 어떠한 수정도 필요로 하지 않아, 솔루션이 응용 프로그램에 종속되지 않고 투명한 성격을 지닌다는 것을 입증했다.