[논문 리뷰] Stop talking to me -- a communication-avoiding ADER-DG realisation

Dominic Etienne Charrier, Tobias Weinzierl|arXiv (Cornell University)|2018. 01. 26.

Numerical methods for differential equations참고 문헌 13인용 수 10

한 줄 요약

이 논문은 통신을 최소화하는 ADER-DG 이산화 방법을 제안하여, 단일 터치 의미 체계를 도입하고 알고리즘 단계를 메쉬 순회에서 분리하며 계산 뒤에 분산 메모리 통신을 숨김으로써 데이터 이동과 메모리 압력을 줄입니다. 이 접근법은 반복적 데이터 접근을 최소화하고 병렬 처리, 엑사스케일 대응 시뮬레이션에서 작업 스케줄링을 최적화함으로써 높은 성능 향상을 이룹니다. 특히 저차수 다항식과 작은 시간 간격에서 두드러진 성능 향상을 보입니다.

ABSTRACT

We present a communication- and data-sensitive formulation of ADER-DG for hyperbolic differential equation systems. Sensitive here has multiple flavours: First, the formulation reduces the persistent memory footprint. This reduces pressure on the memory subsystem. Second, the formulation realises the underlying predictor-corrector scheme with single-touch semantics, i.e., each degree of freedom is read on average only once per time step from the main memory. This reduces communication through the memory controllers. Third, the formulation breaks up the tight coupling of the explicit time stepping's algorithmic steps to mesh traversals. This averages out data access peaks. Different operations and algorithmic steps are ran on different grid entities. Finally, the formulation hides distributed memory data transfer behind the computation aligned with the mesh traversal. This reduces pressure on the machine interconnects. All techniques applied by our formulation are elaborated by means of a rigorous task formalism. They break up ADER-DG's tight causal coupling of compute steps and can be generalised to other predictor-corrector schemes.

연구 동기 및 목표

• 초구속성 편미분방정식을 위한 고성능 계산에서 증가하는 데이터 이동의 성능 저하 문제를 해결하기 위해.
• 데이터 접근 최적화를 통해 ADER-DG 방법에서 메모리 대역폭 압력과 통신 오버헤드를 줄이기 위해.
• 분산 메모리 시스템에서 ADER-DG의 효율적이고 확장 가능한 병렬 실행을 위해 통신을 계산 뒤에 숨기기 위해.
• 통신 최소화 기법을 ADER-DG를 초월한 예측-수정 형식의 방법으로 일반화하기 위해.
• 지진파 및 천체 물리학적 파동 시뮬레이션과 같은 실제 응용 분야에서 접근법을 검증하기 위해.

제안 방법

• 각 자유도가 메인 메모리에서 매 시간 단계당 오직 한 번만 읽히도록 보장하는 단일 터치 의미 체계를 활용해 ADER-DG를 공식화합니다.
• 예측, 리만 해법, 보정 단계를 고정된 메쉬 순회 순서에서 분리하여 서로 다른 메쉬 요소에서 별도로 스케줄링할 수 있도록 합니다.
• 메쉬 순회 및 작업 스케줄링과 일치시키면서 통신을 계산 뒤에 숨겨 분산 메모리 데이터 이동을 숨깁니다.
• 데이터 접근 패턴과 알고리즘적 의존성 모델링 및 최적화를 위해 작업 기반 형식을 적용합니다.
• 예측 단계와 리만 해법 단계를 융합하여 시간 스텝을 통합함으로써 동기화 및 통신 오버헤드를 줄입니다.
• 충격이 존재할 경우에도 안정성을 확보하기 위해 유한 부피 한계기법을 사용하면서도 스무드 영역에서는 고차수 정확도를 유지합니다.

실험 결과

연구 질문

• RQ1 어떻게 하면 ADER-DG를 재구성하여 고성능 계산 환경에서 데이터 이동과 메모리 대역폭 압력을 최소화할 수 있는가?
• RQ2 분산 메모리 ADER-DG에서 통신을 계산 뒤에 얼마나 효과적으로 숨길 수 있는가?
• RQ3 예측 단계와 리만 해법 단계의 융합이 다양한 다항식 차수에서 성능 및 확장성에 어떤 영향을 미치는가?
• RQ4 통신 최소화 기법을 ADER-DG를 초월한 다른 예측-수정 형식의 방법, 예를 들어 유한 부피 방법으로 일반화할 수 있는가?
• RQ5 작업 스케줄링 및 로드 밸런싱이 분산 메모리 환경에서 통신 최소화 ADER-DG의 성능에 어떤 영향을 미치는가?

주요 결과

• 통신 최소화 ADER-DG 공식화는 특히 저차수 다항식(p ≤ 5)과 작은 시간 간격에서 뚜렷한 성능 향상을 이룹니다.
• 융합된 시간 스텝 방법은 세 단계 순차적 접근보다 시간 단위 총 소비 시간을 줄이며, p = 2 및 p = 3일 경우 특히 두드러집니다.
• KNL 및 Broadwell 아키텍처에서 융합된 접근법은 계산 뒤에 통신을 숨김으로써 런타임을 줄였으며, 분산 메모리 환경에서도 측정 가능한 성능 향상이 있었습니다.
• 예측 단계(STP)가 런타임에서 지배적인 경우에 이 기법이 가장 효과적이며, 통신이 계산과 효과적으로 겹쳐져서 성능 향상이 발생합니다.
• 다항식 차수가 증가함에 따라 STP 단계의 비용이 증가하여 융합의 상대적 이점이 감소함에 따라 성능 향상도 감소합니다.
• 로드 밸런싱을 철저히 관리하고 하위 도메인 경계를 따라 작업 우선순위를 설정하면, 분산 메모리 실행에서도 확장성과 효과성이 유지됩니다.