[논문 리뷰] ls1 mardyn: The massively parallel molecular dynamics code for large systems

Christoph Niethammer, Stefan Becker외 10명|PubMed|2014. 08. 20.

Advanced Physical and Chemical Molecular Interactions참고 문헌 1인용 수 43

한 줄 요약

ls1 mardyn은 최대 수십조 개의 입자를 가진 대규모 시스템을 시뮬레이션하기 위해 설계된 매우 확장 가능하고 대량 병렬 분자 동역학 코드이다. 동적 로드 밸런싱과 효율적인 MPI 통신을 통해 140,000개 이상의 코어에서 거의 완벽한 확장성을 확보하였으며, 세계 기록을 수립하여 591.2 TFLOPS에서 4.125조 개의 분자를 140,000개의 코어에서 시뮬레이션하였다. 이는 마이크로미터 척도와 마이크로초 시간 척도에서 복잡한 유체 시스템의 시뮬레이션을 가능하게 한다.

ABSTRACT

The molecular dynamics simulation code ls1 mardyn is presented. It is a highly scalable code, optimized for massively parallel execution on supercomputing architectures and currently holds the world record for the largest molecular simulation with over four trillion particles. It enables the application of pair potentials to length and time scales that were previously out of scope for molecular dynamics simulation. With an efficient dynamic load balancing scheme, it delivers high scalability even for challenging heterogeneous configurations. Presently, multicenter rigid potential models based on Lennard-Jones sites, point charges, and higher-order polarities are supported. Due to its modular design, ls1 mardyn can be extended to new physical models, methods, and algorithms, allowing future users to tailor it to suit their respective needs. Possible applications include scenarios with complex geometries, such as fluids at interfaces, as well as nonequilibrium molecular dynamics simulation of heat and mass transfer.

연구 동기 및 목표

• 수십조 개의 입자를 가진 시스템을 시뮬레이션할 수 있는 대량 병렬 분자 동역학 코드를 개발하는 것.
• 복잡한 기하학적 구조에서 빠르게 변화하는 이질적인 분포를 가진 분자 분포를 시뮬레이션하는 데 도전하는 것.
• 현대 슈퍼컴퓨터 아키텍처에서 높은 확장성을 확보하는 것, 특히 비평형 및 표면 제어 과정에 초점 맞추기.
• 다중 중심 강체 퍼텐셜, 점电하, 고차원 분극성과 같은 고급 물리 모델을 지원하는 것.
• 미래의 HPC 및 분자 모델링 발전을 위한 모듈러하고 확장 가능하며 공개된 소프트웨어 프레임워크를 제공하는 것.

제안 방법

• 이질적이고 시간에 따라 변하는 입자 분포에서 고성능을 유지하기 위해 동적 로드 밸런싱 기법을 사용한다.
• 확장성과 새로운 물리 모델의 통합을 지원하기 위해 컴пон언트 기반 설계 기반의 모듈러 소프트웨어 아키텍처를 채택한다.
• 3D 토러스 인터커넥트(예: Cray XE6 Gemini)와 InfiniBand(SuperMUC)에 최적화된 MPI 기반 통신을 사용한 효율적인 도메인 분할을 구현한다.
• 복잡한 유체의 정확한 모델링을 위해 다중 상호작용 지점(Lennard-Jones, 점전하, 고차원 다극자)을 가진 강체 역학을 지원한다.
• 계산 효율성을 확보하기 위해 속도-버렛 알고리즘을 사용한 시간 적분과 단거리 커팅(예: 3.5σ)을 적용한다.
• 현대 HPC 시스템의 인터커넥트 구조에 맞게 최적화된 고도로 최적화된 통신 패tern을 활용하여 지연 시간을 최소화하고 대역폭을 극대화한다.

실험 결과

연구 질문

• RQ1 140,000개 이상의 코어에서 대규모 유체 시뮬레이션에 대해 분자 동역학 코드가 거의 이상적인 강한 확장성과 약한 확장성을 달성할 수 있는가?
• RQ2 매우 이질적이고 비평형 상태인 시스템에서 동적 로드 밸런싱이 고성능 유지를 위해 얼마나 효과적인가?
• RQ3 현재의 MD 코드로는 어떤 최대 시스템 크기를 달성할 수 있으며, 마이크로미터 척도와 마이크로초 시간 척도에 도달할 수 있는가?
• RQ4 3D 토러스 인터커넥트와 트리 기반 인터커넥트 간에 ls1 mardyn의 성능는 어떻게 비교되는가?
• RQ5 모듈러하고 확장 가능한 소스 기반의 소프트웨어 아키텍처는 향후 물리 모델과 HPC 하드웨어 진화를 얼마나 잘 수용할 수 있는가?

주요 결과

• hermit 슈퍼컴퓨터의 32,768개 코어에서 ls1 mardyn은 82.5%의 병렬 효율을 기록하여 SuperMUC보다 뛰어난 강한 확장성을 입증하였다.
• 32,768개 코어에서 91.5%의 약한 확장성 효율과 76.8 TFLOPS의 성능을 기록하여 최대 성능의 12.8%를 달성하였다.
• 최대의 MD 시뮬레이션 기록은 SuperMUC에서 4.125 × 10^12개의 분자를 사용하여 수행되었으며, 단일 코어 대비 133,183배의 스피드업을 기록하였다.
• 절대 성능은 591.2 TFLOPS에 달했으며, 140,000개의 코어에서 최대 성능의 9.4%에 해당하였다.
• 동적 로드 밸런싱은 도전적인 이질적 구성에서 확장성을 크게 향상시켜 다양한 시스템 형태에서 안정적인 성능을 유지할 수 있도록 하였다.
• 코드는 두 개의 조건을 포함한 BSD 라이선스 하에 공개되어 있어, 향후 새로운 HPC 시스템과 물리 모델에의 적응을 지원한다.