[논문 리뷰] Simplifying Complex Software Assembly: The Component Retrieval Language and Implementation

Eric L. Seidel, Gabrielle Allen외 3명|arXiv (Cornell University)|2010. 09. 07.

Distributed and Parallel Computing Systems참고 문헌 1인용 수 5

한 줄 요약

이 논문은 분산된 소프트웨어 컴포넌트를 이질적인 버전 관리 시스템 간에 검색하는 데 전용으로 설계된 도메인 특화 언어인 컴포넌트 검색 언어(Component Retrieval Language, CRL)를 소개한다. GetComponents 도구는 CRL를 구현하여 복잡한 과학 소프트웨어의 조립을 간소화하며, TeraGrid 자원을 활용해 Cactus 프레임워크와 아인슈타인 툴킷(Einstein Toolkit)에 대해 성공적으로 검증되었으며, 수동 설정을 줄이고 다양한 HPC 환경에서 재현 가능하고 확장 가능한 코드 배포를 가능하게 했다.

ABSTRACT

Assembling simulation software along with the associated tools and utilities is a challenging endeavor, particularly when the components are distributed across multiple source code versioning systems. It is problematic for researchers compiling and running the software across many different supercomputers, as well as for novices in a field who are often presented with a bewildering list of software to collect and install. In this paper, we describe a language (CRL) for specifying software components with the details needed to obtain them from source code repositories. The language supports public and private access. We describe a tool called GetComponents which implements CRL and can be used to assemble software. We demonstrate the tool for application scenarios with the Cactus Framework on the NSF TeraGrid resources. The tool itself is distributed with an open source license and freely available from our web page.

연구 동기 및 목표

• 수백 개의 분산된 컴포넌트를 이질적인 버전 관리 시스템(Git, Subversion, CVS 등) 간에 조립하는 데 도전 과제를 해결하기 위해.
• 초보 연구자 및 개발자가 슈퍼컴퓨터에 시뮬레이션 코드를 배포할 때 막대한 수동 설정 과정에 빠지지 않도록 부담을 줄이기 위해.
• 여러 저장소와 액세스 프로토콜(HTTP/HTTPS, SSH 포함) 간에 소프트웨어 컴포넌트의 자동화, 신뢰성 있고 재현 가능한 체크아웃 및 업데이트를 가능하게 하기 위해.
• 향후 기능인 종속성 관리, 날짜 기반 체크아웃, 과학적 재현성을 위한 증명 가능성 추적 기능 등 확장성을 지원하기 위해.
• 기존 과학 프레임워크인 Cactus와 아인슈타인 툴킷과 통합된 생산 수준의 오픈소스 도구(GetComponents)를 제공하기 위해.

제안 방법

• 컴포넌트 메타데이터, 소스 저장소 위치, 액세스 방법(공개/비공개), 그리고 버전 관리 체계를 기술하기 위한 선언적 언어인 컴포넌트 검색 언어(Component Retrieval Language, CRL) 설계.
• Git, Subversion, CVS, Darcs를 위한 네이티브 API 또는 명령행 도구를 사용해 CRL 파일을 해석하고 자동으로 컴포넌트를 검색하는 GetComponents 도구의 구현.
• 다양한 액세스 프로토콜(HTTP, HTTPS, SSH)과 버전 관리 체계를 지원하여 플랫폼 간 및 프로토콜 간의 컴포넌트 검색을 가능하게 함.
• 복잡한 컴포넌트 종속성과 대규모 프레임워크 내 논리적 그룹화를 관리하기 위해 선택적 !INCLUDE 지시어를 포함한 모듈식 구성 구조 사용.
• 기존 과학 소프트웨어 스택과의 통합을 통해 TeraGrid와 Blue Waters 자원에서 종단 간 체크아웃 및 업데이트 워크플로우를 성공적으로 시연함.
• 모의 시뮬레이션에서 사용된 정확한 컴포넌트 버전을 기록하는 CRL 파일을 생성함으로써 Cactus 생태계에 증명 가능성 추적 기능을 확장함.

실험 결과

연구 질문

• RQ1 이질적인 버전 관리 시스템 간에 수백 개의 분산된 컴포넌트를 신뢰성 있고 재현 가능하게 조립할 수 있는 방법은 무엇인가?
• RQ2 다양한 저장소와 액세스 방법 간에 컴포넌트 검색을 명확하고 확장 가능하며 유지보수 가능한 방식으로 기술할 수 있는 언어 설계는 무엇인가?
• RQ3 공개 및 비공개 저장소를 모두 지원하면서도 여러 버전 관리 시스템 간에 컴포넌트 검색 및 업데이트를 자동화할 수 있는 단일 도구는 가능한가?
• RQ4 자동화된 컴포넌트 추적 및 구성으로 대규모 과학 시뮬레이션에서 증명 가능성과 재현성을 어떻게 향상시킬 수 있는가?
• RQ5 실제 HPC 환경인 TeraGrid와 같은 환경에서 자동 컴포넌트 검색 시스템의 성능 및 확장성 특성은 어떠한가?

주요 결과

• GetComponents는 TeraGrid 시스템의 LONI, NCAR, NCSA, Purdue, TACC 등 다양한 저장소에서 Git, Subversion, CVS, Darcs를 포함한 100개 이상의 컴포넌트를 성공적으로 체크아웃 및 업데이트함.
• 원천에서 전체 아인슈타인 툴킷을 조립하는 평균 시간은 약 9분으로, 대규모 배포의 실현 가능성을 입증함.
• HTTP/HTTPS 및 SSH를 포함한 다수의 액세스 프로토콜을 정확히 처리하였으며, 공개 및 비공개 저장소 액세스를 모두 지원함.
• NCAR의 Frost 슈퍼컴퓨터에서 오래된 Subversion 설치로 인한 알려진 문제를 테스트 후 식별하고 해결함으로써, 실제 환경 제약 조건 하에서도 도구의 강건성을 확인함.
• CRL 언어와 GetComponents는 Cactus 및 아인슈타인 툴킷 생태계에 성공적으로 통합되었으며, 커뮤니티 워크플로우에서 생산 환경에서의 사용이 확인됨.
• 향후 확장 기능으로 날짜 기반 체크아웃 및 !INCLUDE를 통한 종속성 인식 구성 기능 개발이 활발히 진행 중이며, 재현 가능성과 유지보수성 향상에 기여할 것임.