[논문 리뷰] A Modular and Extensible Software Architecture for Particle Dynamics

Sebastian Eibl, Ulrich Rüde|arXiv (Cornell University)|2019. 06. 26.

Distributed and Parallel Computing Systems참고 문헌 16인용 수 4

한 줄 요약

이 논문은 waLBerla HPC 생태계 내에서 코드 생성과 액세서 추상화를 사용하여 물리 커널과 데이터 구조를 분리함으로써 모듈화되고 확장 가능한 입자 역학 프레임워크인 MESA-PD를 제시한다. 이 접근법은 도메인 과학자들이 저수준 병렬 처리 세부 정보에 대한 깊은 지식 없이도 상호작용 모델을 구현하고 확장할 수 있도록 하여, 메모리 레이아웃, I/O, MPI 통신을 위한 자동화되고 타입 안정적인 코드 생성을 통해 높은 성능, 확장성, 유지보수성을 달성한다.

ABSTRACT

Creating a highly parallel and flexible discrete element software requires an interdisciplinary approach, where expertise from different disciplines is combined. On the one hand domain specialists provide interaction models between particles. On the other hand high-performance computing specialists optimize the code to achieve good performance on different hardware architectures. In particular, the software must be carefully crafted to achieve good scaling on massively parallel supercomputers. Combining all this in a flexible and extensible, widely usable software is a challenging task. In this article we outline the design decisions and concepts of a newly developed particle dynamics code MESA-PD that is implemented as part of the waLBerla multi-physics framework. Extensibility, flexibility, but also performance and scalability are primary design goals for the new software framework. In particular, the new modular architecture is designed such that physical models can be modified and extended by domain scientists without understanding all details of the parallel computing functionality and the underlying distributed data structures that are needed to achieve good performance on current supercomputer architectures. This goal is achieved by combining the high performance simulation framework waLBerla with code generation techniques. All code and the code generator are released as open source under GPLv3 within the publicly available waLBerla framework (www.walberla.net).

연구 동기 및 목표

• 도메인 과학자들이 병렬 컴퓨팅이나 데이터 구조에 대한 깊은 지식 없이도 입자 상호작용 모델을 구현하고 확장할 수 있도록 한다.
• 모듈형이고 확장 가능한 소프트웨어 아키텍처를 통해 현대 슈퍼컴퓨터에서 높은 성능과 강력한 확장성을 달성한다.
• 물리 커널을 데이터 저장 및 통신 로직에서 분리하여 유지보수성과 이식성 향상.
• 특정 시뮬레이션 요구사항에 맞게 유연한 도메인 분할과 동적 입자 데이터 구조를 지원한다.
• 통일된 인터페이스를 통해 동일한 분할 및 데이터 레이아웃을 공유함으로써 다른 시뮬레이션 모듈과의 결합을 촉진한다.

제안 방법

• 입자 성질과 상호작용 모델을 기술하기 위한 고수준 파이썬 DSL을 사용하는 두 단계의 코드 생성 파이프라인을 구현: 첫 번째 단계는 파이썬 DSL로 모델 정의, 두 번째 단계는 Jinja 템플릿 기반 C++ 코드 생성.
• 입자 데이터 접근을 추상화하는 액세서 인터페이스를 도입하여, 어떤 데이터 구조이든 통일된 API를 통해 커널이 작동할 수 있도록 한다.
• 사용자가 정의한 입자 성질에 기반해 자동으로 MPI 직렬화, 디버그 출력, VTK 내보내기, 데이터베이스 I/O를 위한 저수준 코드를 생성한다.
• 상태 없는 템플릿 기반의 함수 객체로 상호작용 커널을 설계하여, 액세서 인터페이스를 통해만 작동하도록 하여 데이터 레이아웃에 대한 의존도를 제거한다.
• waLBerla 프레임워크의 병렬 인프라를 활용하여 분산 메모리 시스템에서 고성능과 확장성을 보장한다.
• 구성 파일을 통한 새로운 입자 성질과 상호작용 모델의 추가가 가능하도록 하여, 핵심 프레임워크 로직을 수정하지 않고도 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 도메인 과학자들이 병렬 컴퓨팅에 대한 깊은 지식 없이도 입자 역학 시뮬레이션 프레임워크에서 물리 모델을 확장할 수 있도록 아키텍처를 설계할 수 있는가?
• RQ2 어떤 기법이 입자 시뮬레이션에서 모듈성과 확장성을 유지하면서도 고성능과 강력한 확장성을 달성하는 데 기여하는가?
• RQ3 어떻게 하면 시뮬레이션에 따라 동적으로 데이터 구조를 조합하여 메모리 과잉 사용을 방지하고 성능을 향상시킬 수 있는가?
• RQ4 데이터 레이아웃과 통신 메커니즘에 대한 의존도를 완전히 제거하기 위해 추상화를 통해 물리 커널을 완전히 독립적으로 만들 수 있는가?
• RQ5 자동 코드 생성은 HPC 입자 시뮬레이션 프레임워크에서 개발 시간과 오류 발생률을 얼마나 줄이는가?

주요 결과

• 코드 생성 파이프라인은 수동 코딩을 줄이며, 메모리 팩킹, I/O, MPI 통신를 위한 일관되고 타입 안정적인 구현을 자동으로 생성한다.
• 액세서 추상화 덕분에 물리 커널이 데이터 레이아웃에서 완전히 분리되어 다양한 데이터 구조와 프레임워크에서 재사용 가능해진다.
• 유연한 도메인 분할을 지원함으로써 다중 물리 시뮬레이션에서 결합 효율성과 워크로드 균형을 향상시킨다.
• 시뮬레이션 요구사항에 따라 동적으로 입자 데이터 구조가 생성되어 불필요한 메모리 사용을 방지하고 성능을 향상시킨다.
• 액세서와 코드 생성을 통한 책임 분리 덕분에 도메인 과학자(물리 모델 개발)와 HPC 전문가(성능 최적화)가 서로 코드베이스가 얽히지 않고 별도로 작업할 수 있다.
• 액세서와 코드 생성을 통한 분리로 생성된 함수들 간의 정확성과 일관성이 보장되어 수동으로 데이터 레이아웃과 I/O 루틴을 동기화하는 데서 발생하는 미묘한 버그를 제거한다.