[논문 리뷰] Portage: Bringing Hackers' Wisdom to Science

G. Amádio, Benda Xu|arXiv (Cornell University)|2016. 10. 10.

Cloud Computing and Resource Management참고 문헌 1인용 수 4

한 줄 요약

이 논문은 고성능 컴퓨팅(HPC) 환경에서 복잡하고 최신 소프트웨어 스택을 관리할 수 있도록, 견고하고 유연한 패키지 관리 시스템인 Portage를 제안한다. 이는 견고한 패키지 관리 시스템인 Portage를 기반으로 하되, Gentoo Prefix를 통해 크로스 컴파일링과 다양한 빌드 구성에 대한 세밀한 제어를 가능하게 하여 과학계산에서의 재현 가능성과 유지보수성을 크게 향상시킨다. Portage의 ebuild, USE 플래그, 패키지 슬롯을 활용함으로써 동일 패키지의 여러 버전과 빌드 구성에 대한 세밀한 제어가 가능해지며, 이는 과학계산 분야에서의 재현 가능성과 유지보수성 향상에 기여한다.

ABSTRACT

Providing users of HPC systems with a wide variety of up to date software packages is a challenging task. Large software stacks built from source are difficult to manage, requiring powerful package management tools. The Portage package manager from Gentoo is a highly flexible tool that offers a mature solution to this otherwise daunting task. The Gentoo Prefix project develops and maintains a way of installing Gentoo systems in non-standard locations, bringing the virtues of Gentoo to other operating systems. Here we demonstrate how a Gentoo Prefix installation can be used to cross compile software packages for the Intel Xeon Phi known as Knights Corner, as well as to manage large software stacks in HPC environments.

연구 동기 및 목표

• 시스템에서 제공하는 패키지가 오래되었을 때도 최신 소프트웨어 스택을 효과적으로 관리하는 데 도전 과제를 해결한다.
• 기존 패키지 관리자가 복잡한 종속성, 빌드 시간 구성, 동일 패키지의 여러 버전을 처리하는 데 한계를 보일 때 이를 극복한다.
• 권한이 제한된 HPC 환경에서 사용자가 Gentoo Prefix를 통해 맞춤형 소프트웨어 스택을 설치하고 관리할 수 있도록 한다.
• 소프트웨어 패키지의 여러 버전과 빌드 구성에 대한 내장된 관리 기능을 통해 과학적 재현 가능성을 지원한다.
• 오픈소스 커뮤니티의 집단적 지혜를 활용하여 과학계산 분야에서 소프트웨어의 지속 가능성과 유지보수성을 향상시킨다.

제안 방법

• 빌드 지침, 종속성, 구성 옵션을 정의하는 ebuild를 사용하는 소스 기반 패키지 관리자인 Portage를 활용한다.
• USE 플래그를 사용하여 전체 스택을 다시 빌드하지 않고도 컴파일 시간 옵션을 커스터마이징할 수 있다(예: MPI 활성화, Python 버전 선택).
• 패키지 슬롯을 사용하여 동일한 패키지의 여러 버전(예: 다양한 컴파일러 또는 BLAS 라이브러리)을 동시에 설치할 수 있도록 한다.
• Gentoo Prefix를 활용하여 비표준, 사용자 쓰기 가능한 경로에 전체 Gentoo 환경을 설치함으로써 루트 권한 없이도 소프트웨어를 관리할 수 있도록 한다.
• ebuild와 오버레이를 통해 패atch를 적용하여 HPC 환경에 특화된 커스터마이징을 지원한다.
• emerge 명령행 도구를 사용하여 종속성을 해결하고 정확한 빌드 순서를 보장하며, 구성 변경 시 영향을 받는 패키지만 재빌드한다.

실험 결과

연구 질문

• RQ1 어떻게 패키지 관리자가 다양한 빌드 구성이 있는 HPC 환경에서 복잡하고 다중 버전의 소프트웨어 스택을 효과적으로 관리할 수 있는가?
• RQ2 소스 기반 패키지 관리자인 Portage가 과학계산 분야에서 소프트웨어의 재현 가능성과 유지보수성 향상에 얼마나 기여할 수 있는가?
• RQ3 Gentoo Prefix는 루트 권한 없이도 보안적으로 안정된 사용자 수준의 소프트웨어 스택 설치를 가능하게 할 수 있는가?
• RQ4 과학 소프트웨어 관리에서 기본적으로 여러 버전과 빌드 구성 지원이 가져오는 실질적 이점과 고려해야 할 비용은 무엇인가?
• RQ5 오픈소스 개발자들의 집단적 경험(해커 정신)은 과학 소프트웨어 배포 분야에서 지속적인 과제를 해결하는 데 어떻게 활용될 수 있는가?

주요 결과

• Portage는 HPC 환경에서 복잡하고 큰 소프트웨어 스택을 세밀한 빌드 구성 및 종속성 제어로 관리할 수 있다.
• USE 플래그의 사용은 성능이나 호환성을 위해 소프트웨어 빌드를 맞춤형으로 조정할 수 있도록 하며, 예를 들어 특정 명령 세트를 활성화하거나 불필요한 구성 요소를 비활성화할 수 있다.
• 패키지 슬롯을 통해 동일 패키지의 여러 버전(예: 다양한 MPI 구현 또는 Python 버전)을 동시에 설치할 수 있어 재현 가능성과 호환성에 기여한다.
• Gentoo Prefix는 비표준, 사용자 쓰기 가능한 경로에 전체 Gentoo 환경을 설치할 수 있도록 하여 사용자가 루트 권한 없이도 소프트웨어를 관리할 수 있도록 한다.
• Intel Xeon Phi(Knights Corner)와 같은 특수 하드웨어를 위한 크로스 컴파일링을 지원함으로써 HPC 워크로드에 대한 적응 가능성과 탄탄함을 입증한다.
• 수백 명의 개발자가 유지보수하는 Portage의 성숙도와 철저한 검토는 과학 소프트웨어 관리 분야에서 견고하고 신뢰할 수 있는 솔루션을 제공하며, 일관되지 않은 소프트웨어 빌드의 혼란을 줄인다.