[논문 리뷰] Korali: a High-Performance Computing Framework for Stochastic Optimization and Bayesian Uncertainty Quantification.

S. Martín Martín, Daniel Wälchli외 2명|arXiv (Cornell University)|2020. 05. 27.

Gaussian Processes and Bayesian Inference참고 문헌 1인용 수 6

한 줄 요약

Korali는 계산 비용이 높은 과학적 및 공학적 모델에서 확장 가능한 스토하스틱 최적화 및 베이지안 불확도 정량화를 위한 모듈러하고 오픈소스의 고성능 계산 프레임워크이다. 분산 컴퓨팅을 사용하여 대규모 병렬 시뮬레이션을 장애 내성적이고 로드 밸런싱된 방식으로 실행할 수 있으며, Piz Daint 슈퍼컴퓨터에서 최대 4096개 노드까지 효율적인 스케일링을 보였다. LAMMPS 및 Mirheo 워크로드 환경에서의 성능을 입증하였다.

ABSTRACT

We present a modular, open-source, high-performance computing framework for data-driven Bayesian uncertainty quantification and stochastic optimization. The proposed framework (Korali) is well suited for the non-intrusive sampling of computationally demanding engineering and scientific models. The framework's distributed-execution engine allows for the efficient execution of massively-parallel computational models while providing fault tolerance and load balancing mechanisms. In this paper, we present our framework's design principles and explain its flexibility in allowing scientists to deploy stochastic methods at scale. We demonstrate the capabilities of Korali for Bayesian inference and optimization studies using existing high-performance software such as LAMMPS (CPU-Based) and Mirheo (GPU-Based) and show scaling efficiently on up to 4096 nodes of the CSCS Piz Daint supercomputer.

연구 동기 및 목표

• 계산 비용이 높은 과학적 및 공학적 모델에서 효율적으로 베이지안 불확도 정량화와 스토하스틱 최적화를 수행하는 데 도전하는 문제를 해결하기 위해.
• 복잡한 모델의 비침습적 샘플링을 지원하는 모듈러하고 오픈소스의 프레임워크를 제공하기 위해.
• 분산 고성능 컴퓨팅 환경에서 장애 내성성과 로드 밸런싱을 실현하기 위해.
• 수천 개의 컴퓨팅 노드를 통해 스토하스틱 시뮬레이션을 스케일링하면서도 효율성과 신뢰성을 유지하기 위해.
• 기존의 고성능 시뮬레이션 소프트웨어인 LAMMPS 및 Mirheo와 원활하게 통합하기 위해.

제안 방법

• 프레임워크는 대규모 병렬 계산 워크로드를 관리하고 조율하기 위한 분산 실행 엔진을 사용한다.
• 비침습적 샘플링을 지원하여 외부 모델을 코드 수정 없이 실행할 수 있도록 한다.
• 장기 실행 시뮬레이션 중 체크포인팅 및 작업 복구 메커니즘을 통해 장애 내성성을 확보한다.
• 사용 가능한 노드에 걸쳐 계산 작업을 균일하게 분배하기 위해 로드 밸런싱을 구현한다.
• CPU 기반(LAMMPS) 및 GPU 기반(Mirheo) 시뮬레이터를 포함한 기존 HPC 소프트웨어 스택과 상호운용성을 갖춘다.
• 스토하스틱 최적화 및 베이지안 추론 알고리즘의 유연한 배포를 지원하기 위해 모듈러 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 계산 비용이 높은 과학적 모델에 대해 베이지안 불확도 정량화를 어떻게 효율적으로 수행할 수 있는가?
• RQ2 대규모 스토하스틱 시뮬레이션에서 장애 내성성과 로드 밸런싱을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 모듈러한 HPC 프레임워크가 비침습적 샘플링을 위해 수천 개의 컴퓨팅 노드로 스케일링할 수 있는 정도는 어느 정도인가?
• RQ4 Korali는 기존의 고성능 시뮬레이션 소프트웨어인 LAMMPS 및 Mirheo와 어떻게 통합되는가?
• RQ5 현대 슈퍼컴퓨터에서 Korali를 사용할 경우 스토하스틱 최적화 및 추론에서 달성 가능한 성능 향상은 어느 정도인가?

주요 결과

• Korali는 고성능 컴퓨팅 시스템에서 확장 가능한 베이지안 추론과 스토하스틱 최적화를 성공적으로 구현하였다.
• CSCS의 Piz Daint 슈퍼컴퓨터에서 최대 4096개 노드까지 효율적인 스케일링을 입증하였다.
• 계산 집약적인 장기 실행 시뮬레이션 중 장애 내성성과 로드 밸런싱을 달성하였다.
• LAMMPS(CPU 기반) 및 Mirheo(GPU 기반) 워크로드와의 통합은 원활하고 효과적이었다.
• 비침습적 샘플링을 지원하여 원래의 모델 인터페이스를 유지하고 개발 오버헤드를 감소시켰다.
• 모듈러한 설계 덕분에 과학자들이 기존의 시뮬레이션 코드를 수정하지 않고도 대규모로 스토하스틱 방법을 구현할 수 있었다.