[논문 리뷰] xSDK Foundations: Toward an Extreme-scale Scientific Software Development Kit

Roscoe Bartlett, Irina Demeshko외 13명|arXiv (Cornell University)|2017. 02. 27.

Parallel Computing and Optimization Techniques참고 문헌 9인용 수 5

한 줄 요약

xSDK 기초 논문은 초규모 계산을 위한 독립적으로 개발된 과학 소프트웨어 라이브러리 간의 상호운용성, 이식성, 지속 가능성 을 보장하기 위해 공동체 기반 정책 기반 프레임워크를 제안한다. Spack과 같은 도구를 통해 인터페이스, 버전 관리, 설치를 표준화함으로써 xSDK는 PETSc, hypre, Trilinos와 같은 라이브러리의 원활한 조합을 가능하게 하여 통합 복잡도를 크게 감소시키고 다스케일 및 다물리학 시뮬레이션을 위한 고성능 애플리케이션 개발을 가속화한다.

ABSTRACT

Extreme-scale computational science increasingly demands multiscale and multiphysics formulations. Combining software developed by independent groups is imperative: no single team has resources for all predictive science and decision support capabilities. Scientific libraries provide high-quality, reusable software components for constructing applications with improved robustness and portability. However, without coordination, many libraries cannot be easily composed. Namespace collisions, inconsistent arguments, lack of third-party software versioning, and additional difficulties make composition costly. The Extreme-scale Scientific Software Development Kit (xSDK) defines community policies to improve code quality and compatibility across independently developed packages (hypre, PETSc, SuperLU, Trilinos, and Alquimia) and provides a foundation for addressing broader issues in software interoperability, performance portability, and sustainability. The xSDK provides turnkey installation of member software and seamless combination of aggregate capabilities, and it marks first steps toward extreme-scale scientific software ecosystems from which future applications can be composed rapidly with assured quality and scalability.

연구 동기 및 목표

• 초규모 계산 과학에서 다수의 독립된 과학 소프트웨어 라이브러리 통합 문제의 증가에 대응한다.
• 다스케일 및 다물리학 애플리케이션에서 네임스페이스 충돌, 일관되지 않은 인터페이스, 버전 조율 부족 등의 상호운용성 장벽을 극복한다.
• 단일 코드베이스가 아닌 신뢰성 있고 효율적인 방식으로 라이브러리를 조합할 수 있는 지속 가능한 소프트웨어 생태계를 구축한다.
• 인터페이스, 테스트, 설치 관행에 대한 공동체 차원 정책을 통해 장기적인 소프트웨어 지속 가능성을 증진한다.
• 과학자가 새로 구축하는 대신 고품질의 재사용 가능한 구성 요소를 조합할 수 있도록 함으로써 빠른 애플리케이션 개발을 가능하게 한다.

제안 방법

• 독립적으로 개발된 과학 라이브러리 간의 인터페이스 일관성, 버전 관리, 문서화에 대한 공동체 정책을 정의하고 이행한다.
• 확장된 PETSc 설치기와 함께 턴키 설치 시스템을 구현하고, 더 넓은 공동체 지원을 위해 Spack과의 통합을 탐색한다.
• 소프트웨어 패키징과 종속성 관리를 표준화하여 다양한 HPC 플랫폼 간의 호환성과 재현 가능성을 확보한다.
• 하나의 MPI 프로세스 내에서 라이브러리 간에 계산 자원(예: 메모리, 스레드)을 동적으로 공유할 수 있도록 자원 이관 인터페이스를 개발하고 노출한다.
• 상호운용성 검증과 xSDK 호환 라이브러리의 신뢰성 있는 조합을 보장하기 위해 테스트 프레임워크와 예제를 통합한다.
• 초기 구성원으로서 기존 고성능 라이브러리(예: PETSc, hypre, SuperLU, Trilinos)를 활용하여 프레임워크의 타당성과 영향력을 입증한다.

실험 결과

연구 질문

• RQ1 단일 통합 또는 중심 집중 제어 없이 독립적으로 개발된 과학 소프트웨어 라이브러리 간의 상호운용성을 어떻게 달성할 수 있는가?
• RQ2 다양한 과학 소프트웨어 팀 간의 일관된 인터페이스, 버전 관리, 문서화를 확보하기 위해 필요한 공동체 정책는 무엇인가?
• RQ3 통합된 설치 및 패키징 시스템은 다수의 과학 라이브러리 배포 및 조합의 복잡도를 어느 정도 감소시킬 수 있는가?
• RQ4 런타임 중에 계산 자원(예: 메모리, 스레드)을 라이브러리 간에 어떻게 공유하고 이관할 수 있는가? 이는 고병렬성과 성능 향상에 어떻게 기여하는가?
• RQ5 정책 기반의 생태계 기반 접근 방식이 초규모 과학 소프트웨어의 지속 가능성, 이식성, 조합 가능성에 상당한 향상을 이끌 수 있는가?

주요 결과

• xSDK 프레임워크는 표준화된 인터페이스와 정책 덕분에 PETSc, hypre, SuperLU, Trilinos와 같은 주요 과학 라이브러리 간의 원활한 상호운용성과 병합 사용을 성공적으로 가능하게 하였다.
• xSDK의 첫 번째 릴리스는 공동체 정책, 테스트, 예제 코드의 활용이 독립적으로 개발된 라이브러리의 통합을 상당히 단순화시킨다는 것을 입증하였다.
• 초기에는 확장된 PETSc 설치기를 통해, 이후에는 Spack을 통해 구현된 통합 설치 시스템의 사용은 여러 xSDK 호환 패키지의 자동화되고 신뢰할 수 있는 배포를 가능하게 하였다.
• 이 프로젝트는 새로운 애플리케이션이 재사용 가능하고 고품질의 구성 요소들로부터 신속히 조합될 수 있는 지속 가능한 과학 소프트웨어 생태계의 기반을 마련하였다.
• 라이브러리 개발과 애플리케이션 로직을 분리함으로써 성능 이식성과 확장성을 지원함으로써, 팀이 하위 수준 인프라에 집중하기보다 과학적 연구에 집중할 수 있도록 하였다.
• xSDK 비전은 미국 에너지부의 엑사스케일 컴퓨팅 프로젝트(ECP) 하에 확장되고 있으며, SUNDIALS와 Magma와 같은 추가 라이브러리의 통합 계획과 더 넓은 도입을 위한 정책의 정교화가 진행 중이다.