[논문 리뷰] Flexible, Scalable Mesh and Data Management using PETSc DMPlex

Michael Lange, Matthew G. Knepley외 1명|arXiv (Cornell University)|2015. 05. 18.

Distributed and Parallel Computing Systems참고 문헌 19인용 수 6

한 줄 요약

이 논문은 Fluidity CFD 응용 프로그램에 PETSc의 DMPlex 메쉬 및 데이터 관리 API를 통합하여 메쉬 입력, 도메인 분할, 재정렬을 확장 가능하고 확장 가능한 라이브러리 계층으로 이관함으로써 시뮬레이션 시작 시간을 단축시킨다. 이 방법은 메쉬 분포를 향상시키고 여러 파일 포맷과 RCM 재정렬에 대한 네이티브 지원을 가능하게 하여 캐시 국소성 향상과 통신 오버헤드 감소로 인해 96코어에서 최대 25%의 성능 향상을 이룬다.

ABSTRACT

Designing a scientific software stack to meet the needs of the next-generation of mesh-based simulation demands, not only scalable and efficient mesh and data management on a wide range of platforms, but also an abstraction layer that makes it useful for a wide range of application codes. Common utility tasks, such as file I/O, mesh distribution, and work partitioning, should be delegated to external libraries in order to promote code re-use, extensibility and software interoperability. In this paper we demonstrate the use of PETSc's DMPlex data management API to perform mesh input and domain partitioning in Fluidity, a large scale CFD application. We demonstrate that raising the level of abstraction adds new functionality to the application code, such as support for additional mesh file formats and mesh re- ordering, while improving simulation startup cost through more efficient mesh distribution. Moreover, the separation of concerns accomplished through this interface shifts critical performance and interoperability issues, such as scalable I/O and file format support, to a widely used and supported open source community library, improving the sustainability, performance, and functionality of Fluidity.

연구 동기 및 목표

• 초기화 중 비효율적인 메쉬 입력 및 도메인 분할로 인해 발생하는 대규모 CFD 시뮬레이션의 성능 저하 요인을 해결하기 위해.
• 공통된 메쉬 및 데이터 관리 작업을 공유되고 잘 지원되는 라이브러리에 위임하여 상호 운용성과 코드 재사용성을 향상시키기 위해.
• 재정렬 및 동적 로드 밸런싱과 같은 고급 메쉬 최적화 기능을 고수준 추상화 계층을 통해 가능하게 하기 위해.
• 저수준 I/O 및 분포 로직을 핵심 시뮬레이션 코드에서 분리함으로써 응용 프로그램 수준의 복잡성을 감소시키기 위해.
• PETSc 생태계의 향후 개선 사항을 상속함으로써 장기적인 유지보수성과 확장성을 향상시키기 위해.

제안 방법

• 비구조적 메쉬 연결성을 계층적 방향 비순환 그래프(DAG)로 표현하는 도메인 토폴로지 추상화 계층으로서 PETSc의 DMPlex API 통합.
• Fluidity의 고유한 메쉬 입력 및 분할 파이프라인을 DMPlex의 여러 파일 포맷(Exodus II, CGNS, Gmsh, Fluent Case, MED 포함) 네이티브 지원으로 대체.
• DMPlex의 확장 가능한 메쉬 분포 및 데이터 이동 원천을 활용하여 메쉬 이동 중 통신 볼륨을 줄이고, 필드가 아닌 토폴로지와 좌표만 분포함으로써 초기화 시 성능 향상.
• 런타임에서 역 Cuthill-McKee(RCM) 재정렬을 적용하여 캐시 국소성 향상과 선형 시스템 조립 시의 솔버 시간 감소.
• PETSc의 HDF5 기반 I/O 스택을 활용하여 효율적인 병렬 파일 액세스를 제공하고, 향후 Xdmf 출력 형식 지원을 확보.
• 300만 요소 메쉬를 사용하여 Archer Cray XC30 시스템에서 24~96코어 범위에서 성능 비교를 위한 벤치마킹 수행.

실험 결과

연구 질문

• RQ1 DMPlex를 Fluidity에 통합함으로써 메쉬 분포 및 I/O 효율성 향상으로 인해 시뮬레이션 시작 시간을 크게 줄일 수 있는가?
• RQ2 응용 프로그램 코드를 수정하지 않고 DMPlex가 여러 메쉬 파일 포맷에 대한 네이티브 지원을 얼마나 잘 제공하는가?
• RQ3 DMPlex를 통한 RCM 재정렬이 스케일링 시 솔버 성능과 전체 시뮬레이션 시간에 어떤 영향을 미치는가?
• RQ4 메쉬 관리 기능을 응용 프로그램 계층에서 분리하고 공유된 최적화 라이브러리를 기반으로 하면 어떤 성능 향상이 달성되는가?
• RQ5 DMPlex가 제공하는 추상화가 향후 메쉬 적응 후 병렬 메쉬 입력 및 동적 로드 밸런싱과 같은 확장성 향상 기능을 가능하게 하는가?

주요 결과

• DMPlex 기반 초기화 워크플로우는 원래 프리프로세서 방법 대비 96코어에서 최대 25%의 시작 오버헤드 감소를 기록했으며, 주로 더 효율적인 메쉬 분포 덕분이었다.
• 성능 향상은 스케일링 시 가장 두드러졌으며, 프로세스 수가 증가할수록 메쉬 이동 중 통신 볼륨 감소로 인해 성능 향상이 증가했다.
• RCM 재정렬은 소규모 실행(최대 24코어)에서 솔버 및 행렬 조립 성능 향상을 보였지만, 고정 비용 오버헤드로 인해 스케일링 시에는 이점이 감소했다.
• 통합을 통해 Fluidity의 핵심 코드베이스를 수정하지 않고도 Exodus II, CGNS, Gmsh, Fluent Case, MED 등 5종의 추가 메쉬 포맷에 네이티브로 지원이 가능해졌다.
• 책임 분리 덕분에 Fluidity는 PETSc의 I/O 및 분할 스택 향후 개선 사항을 상속하여 장기적인 유지보수성과 상호 운용성을 향상시켰다.
• 순차적 파일 I/O 버팀목은 줄어들었지만 여전히 존재했으며, 초기 읽기 단계가 여전히 제한 요소로 남아 있어 향후 작업으로서 완전히 병렬 메쉬 리더가 필요하다는 점을 시사했다.