[논문 리뷰] A highly scalable Met Office NERC Cloud model

Nick Brown, Michèle Weiland외 5명|CentAUR (University of Reading)|2020. 09. 27.

Meteorological Phenomena and Simulations참고 문헌 10인용 수 23

한 줄 요약

이 논문은 메트 오피스 대류모델(Large Eddy Model, LEM)의 고도로 확장 가능한 재구현인 MONC을 제시한다. LEM은 이전의 병렬화 가정으로 인해 512코어를 초과해 확장되지 못하는 한계를 지녔다. MONC는 플러그인 기반의 구성 요소 아키텍처와 I/O 서버 모델을 통해 이를 극복하여 최대 32,768코어까지 확장 가능하게 되었으며, 단일 정밀도 반복 압력 해법을 통해 성능 향상이 최대 600초까지 가능해져 현대 HPC 시스템에서 고해상도 대기 시뮬레이션을 가능하게 한다.

ABSTRACT

Large Eddy Simulation is a critical modelling tool for scientists investigating atmospheric flows, turbulence and cloud microphysics. Within the UK, the principal LES model used by the atmospheric research community is the Met Office Large Eddy Model (LEM). The LEM was originally developed in the late 1980s using computational techniques and assumptions of the time, which means that the it does not scale beyond 512 cores. In this paper we present the Met Office NERC Cloud model, MONC, which is a re-write of the existing LEM. We discuss the software engineering and architectural decisions made in order to develop a flexible, extensible model which the community can easily customise for their own needs. The scalability of MONC is evaluated, along with numerous additional customisations made to further improve performance at large core counts. The result of this work is a model which delivers to the community significant new scientific modelling capability that takes advantage of the current and future generation HPC machines.

연구 동기 및 목표

• 기존 메트 오피스 LEM가 오래된 병렬화 가정으로 인해 512코어를 초과해 확장되지 못하는 문제를 해결한다.
• 현대 및 미래의 HPC 시스템에서 고해상도 대류모의(Large Eddy Simulation, LES)를 통해 대기 유동, 난류 및 구름 미세구조를 시뮬레이션할 수 있도록 한다.
• 플러그인 아키텍처를 통해 쉽게 커스터마이징하고 과학적 확장을 가능하게 하여 민감한 코드베이스를 제공한다.
• 주 모델 루프에서 데이터 분석을 분리하여 I/O 및 계산 병목 현상을 줄이고, 전체 성능과 확장성을 향상시킨다.

제안 방법

• 과학 모듈, 해법, I/O 핸들러가 런타임에 독립적으로 플러그인 가능한 구성 요소 기반 시스템으로 LEM을 재구성하였다.
• 하나의 프로세서 코어가 데이터 분석 및 I/O를 비동기적으로 처리하는 I/O 서버 모델을 구현하여 주 시뮬레이션 타임스텝에서 이를 분리하였다.
• 크레이 XC30 시스템에서 1,024에서 32,768코어까지의 약화 스케일링을 평가하기 위해 FFT 및 반복 해법 두 가지 압력 해법을 도입하였다.
• 데이터 이동을 줄이고 캐시 효율을 향상시키기 위해 해법을 단일 정밀도로 재작성하였으며, 이는 双정밀도 기준과의 성능 평가를 통해 검증되었다.
• 건조한 경계층 케이스를 대상으로 약화 스케일링 테스트를 수행하여 코어 수와 해법 유형에 따른 성능을 벤치마킹하였다.
• 구성 요소 기반 설계를 통해 런타임에 해법 및 I/O 핸들러를 재정의할 수 있도록 동적 성능 튜닝을 구현하였으며, 재컴파일 없이도 가능하게 하였다.

실험 결과

연구 질문

• RQ1 현대적인 구성 요소 기반 소프트웨어 아키텍처가 LEM이 현대 HPC 시스템에서 512코어를 초월해 확장할 수 있도록 할 수 있는가?
• RQ2 I/O 서버 모델은 주 시뮬레이션 루프에서 데이터 분석을 분리함으로써 성능을 어떻게 향상시키는가?
• RQ3 대규모 코어 수에서 대류모의(Les)의 압력 보정에 대해 FFT 해법과 반복 해법의 상대적 성능은 어떠한가?
• RQ4 해당 해법의 정확도를 수용 가능한 수준으로 유지하면서 단일 정밀도 산술이 성능 향상에 얼마나 기여하는가?
• RQ5 탄력적이고 확장 가능한 아키텍처는 GPU 가속 또는 혼합 정밀도 해법과 같은 향후 하드웨어 진화를 어떻게 지원할 수 있는가?

주요 결과

• MONC는 32,768코어까지 효과적으로 확장 가능하여 LEM의 512코어 한계를 크게 초월하는 성능을 보였다.
• 대규모 코어 수에서 반복 압력 해법이 FFT 해법보다 뛰어난 성능을 보였으며, 32,768코어에서 총 실행 시간이 600초 감소하였다.
• 16,384코어에서 이중 정밀도 FFT 해법 대비 단일 정밀도 계산이 실행 시간을 476초 단축시켰으며, 해법 정확도에 거의 영향을 주지 않았다.
• I/O 서버 모델은 비동기 데이터 처리를 가능하게 하여 주 모델이 I/O를 기다리지 않고 계속 진행할 수 있도록 하여 효율성을 크게 향상시켰다.
• 구성 요소 기반 아키텍처 덕분에 해법 및 I/O 구성 요소를 원활하게 교체할 수 있어 성능 중심의 구성 요소에 대한 신속한 실험을 가능하게 하였다.
• 모델 설계는 GPU 가속 구성 요소나 혼합 정밀도 해법과 같은 향후 개선 사항을 최소한의 재작성으로 지원할 수 있도록 하였다.