[논문 리뷰] Alya: Towards Exascale for Engineering Simulation Codes

Mariano Vázquez, Guillaume Houzeaux외 10명|arXiv (Cornell University)|2014. 04. 18.

Advanced Numerical Methods in Computational Mathematics참고 문헌 14인용 수 23

한 줄 요약

이 논문은 엔지니어링 응용 분야의 엑사스케일 계산을 위해 철저히 설계된 고성능 다물리계 시뮬레이션 코드인 Alya를 제시한다. Blue Waters 초고성능 컴퓨터에서 최대 100,000 코어까지 지속적인 확장성과 높은 병렬 효율성을 입증하였으며, 비정규 메쉬와 하이브리드 MPI+OpenMP 병렬 처리 방식을 사용하여 유체역학, 연소, 전기기계계 시스템 등 복잡한 결합 문제를 성공적으로 해결하였다.

ABSTRACT

Alya is the BSC in-house HPC-based multi-physics simulation code. It is designed from scratch to run efficiently in parallel supercomputers, solving coupled problems. The target domain is engineering, with all its particular features: complex geome- tries and unstructured meshes, coupled multi-physics with exotic coupling schemes and Physical models, ill-posed problems, flexibility needs for rapidly including new models, etc. Since its conception in 2004, Alya has shown scaling behaviour in an increasing number of cores. In this paper, we present its performance up to 100.000 cores in Blue Waters, the NCSA supercomputer. The selected tests are representative of the engineering world, all the problematic features included: incompressible flow in a hu- man respiratory system, low Mach combustion problem in a kiln furnace and coupled electro-mechanical problem in a heart. We show scalability plots for all cases, discussing all the aspects of such kind of simulations, including solvers convergence.

연구 동기 및 목표

• 엑사스케일 준비가 된 고성능 계산(HPC) 코드 아키텍처를 통해 대규모 결합 다물리계 시뮬레이션을 가능하게 하기 위해.
• 복잡한 기하학적 구조, 비정규 메쉬, 그리고 특이한 결합 방식을 가진 물리적 문제를 시뮬레이션하는 데 도전 과제를 해결하기 위해.
• 특히 실제 엔지니어링 문제의 맥락에서 페타스케일 초고성능 컴퓨터에서 높은 병렬 효율성과 확장성을 달성하기 위해.
• 수천만 코어에서 실행되는 하이브리드 병렬 솔버 스택(MPI + OpenMP)과 내부 개발된 희소 선형 솔버의 성능을 평가하기 위해.
• 다양하고 현실적인 시뮬레이션 워크로드를 대상으로 확장성과 수렴 행동을 검증하여 엔지니어링 분야의 엑사스케일 계산의 기반을 마련하기 위해.

제안 방법

• Alya는 비정규 메쉬(삼각형, 육면체, 프리즘, 피라미드 포함)를 기반으로 한 변분 유한요소 방법을 사용하여 병렬 초고성능 컴퓨팅을 위해 처음부터 설계된 모듈식 다물리계 코드이다.
• 명시적 및 암시적 시간 적분 기법을 모두 사용하며, 특히 대규모 문제에서는 몰입형 또는 단계적 결합 전략 중에서 단계적 전략과 결합 반복을 선호한다.
• 메시프로세싱(METIS)를 사용한 도메인 분할을 통해 병렬화를 구현하였으며, 분산 메모리용 MPI와 공유 메모리 병렬 처리를 위한 OpenMP를 사용하여 하이브리드 MPI+OpenMP 실행을 가능하게 하였다.
• 내부적으로 개발된 희소 선형 솔버가 병렬화 전략과 밀접하게 통합되어 제3자 라이브러리 의존도를 제거하고 비정규 메쉬에 최적화된 성능을 달성하였다.
• 메쉬 분할 기법이 대규모 시뮬레이션을 관리하는 데 핵심적인 역할을 하며, 막대한 코어 수에서 효율적인 로드 밸런싱과 확장성을 보장한다.
• 보존 법칙을 편미분방정식(PDE) 형태로 표현한 변분 공식화를 사용하며, 부분적 적분을 통해 약한 형태를 유도함으로써 복잡한 영역에서 안정적이고 일관된 이산화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 다물리계 시뮬레이션 코드가 복잡한 엔지니어링 문제에 대해 100,000 코어에서 높은 병렬 효율성과 확장성을 달성할 수 있는가?
• RQ2 Alya의 하이브리드 MPI+OpenMP 병렬 처리 전략은 다양한 물리 영역에서 대규모 비정규 메쉬에서 어떻게 성능을 발휘하는가?
• RQ3 암시적 솔버의 확장성과 수렴 행동은 비압축성 유동이나 전기기계적 결합과 같은 결합된, 불안정하거나 비선형 문제에 적용되었을 때 어떻게 되는가?
• RQ4 메쉬 분할과 도메인 분할의 사용은 페타스케일 시스템에서 로드 밸런싱과 성능을 유지하는 데 얼마나 효과적인가?
• RQ5 엔지니어링 응용 분야에서 페타스케일에서 엑사스케일으로 전환할 때의 성능 저하 요인과 핵심 요구사항은 무엇인가?

주요 결과

• Alya는 Blue Waters에서 최대 100,000 코어까지 지속적인 병렬 효율성을 달성하였으며, 호흡기 유동, kiln 연소, 심장 전기기계적 결합과 같은 세 가지 벤치마크 문제에서 일관된 성능을 보였다.
• 메쉬 분할 기법을 적용한 DIV3 케이스는 100,000 코어까지 매우 높은 효율성을 유지하여 메쉬 관리 전략이 스케일업에서 성능을 유지를 위해 필수적임을 입증하였다.
• DIV2 케이스는 1,024 코어가 아닌 32,768 코어를 기준으로 정규화했을 때 확장성이 향상된 것으로 나타나, 로드 밸런싱과 파artition 품질이 극한의 코어 수에서 확장성에 큰 영향을 미친다.
• 암시적 솔버는 모든 테스트 케이스에서 견고하게 수렴하였으며, 수렴 행동 분석 결과 매우 큰 비정규 메쉬(수십억 개 요소 포함)에서도 안정적인 수렴을 보였다.
• 병렬화 계층과 밀접하게 통합된 내부 개발된 희소 솔버의 사용은 외부 라이브러리 의존 없이도 높은 성능을 달성하였으며, 이는 확장성과 유지보수성 향상에 기여하였다.
• HDF5를 사용한 후처리 I/O가 잠재적 성능 저하 요인으로 지목되었으며, 향후 엑사스케일 워크플로우에서 최적화된 I/O 스택의 필요성을 강조하였다.