[논문 리뷰] The swept rule for breaking the latency barrier in time advancing two-dimensional PDEs

Maitham Alhubail, Qiqi Wang외 1명|arXiv (Cornell University)|2016. 02. 23.

Parallel Computing and Optimization Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 두 차원(2D) 시간 진행 편미분방정식(PDE)를 위한 '스위프트 룰(Swept Rule)'을 소개한다. 이는 영향 영역과 의존 영역을 활용하여 통신 빈도를 줄이는 공간-시간 도메인 분할 기법이다. 많은 시간 단계 동안 한 번의 통신만으로도 동일한 데이터 부피이지만 메시지 수를 줄여 네트워크 지연 시간 장벽을 돌파하며, 기존의 공간 분할 방식에 비해 클라우드 클러스터에서 2D 파동 방정식 및 유동 방정식 시뮬레이션에서 3배 이상의 성능 향상을 달성한다.

ABSTRACT

This article describes a method to accelerate parallel, explicit time integration of two-dimensional unsteady PDEs. The method is motivated by our observation that latency, not bandwidth, often limits how fast PDEs can be solved in parallel. The method is called the swept rule of space-time domain decomposition. Compared to conventional, space-only domain decomposition, it communicates similar amount of data, but in fewer messages. The swept rule achieves this by decomposing space and time among computing nodes in ways that exploit the domains of influence and the domain of dependency, making it possible to communicate once per many time steps with no redundant computation. By communicating less often, the swept rule effectively breaks the latency barrier, advancing on average more than one time step per ping-pong latency of the network. The article presents simple theoretical analysis to the performance of the swept rule in two spatial dimensions, and supports the analysis with numerical experiments.

연구 동기 및 목표

• 병렬 명시적 시간 적분에서 2D 비정상 PDE의 확장성 한계를 해결하고자 하며, 이는 일반적으로 계산 능력이 아닌 네트워크 지연 시간에 의해 제한된다.
• 노드 간 통신 메시지 수를 최소화함으로써 분산 PDE 해법기에서의 지연 장벽을 극복하고자 하며, 중복 계산을 증가시키지 않는다.
• 일차원 스위프트 룰을 두 개의 공간 차원으로 확장하여 장기간의 소규모 시뮬레이션에 대해 효율적이고 저지연 시간 진행을 가능하게 하고자 한다.
• 영향 영역과 의존 영역 기반의 공간-시간 분할이 기존의 공간 도메인 분할보다 더 빠른 시간 진행을 가능하게 함을 입증하고자 한다.
• 수치적 스킴 개발과 스위프트 룰 구현을 분리하여 보다 넓은 보급을 위한 모듈형이고 재사용 가능한 인터페이스를 제공하고자 한다.

제안 방법

• 스위프트 룰은 각 계산 하위 도메인의 영향 영역과 의존 영역을 기반으로 계산 노드에 대해 공간과 시간을 모두 분할한다.
• 데이터는 여러 시간 단계 동안 한 번만 통신되도록 계산 워크로드를 재구성하여, 유사한 데이터 부피에도 불구하고 메시지 수를 줄인다.
• PDE의 인과적 구조를 활용하여 언제 어떤 데이터를 교환해야 하는지 식별함으로써, 빈번한 소규모 전송 대신 대량 전송을 가능하게 한다.
• 노드가 동기화가 필요한 시간 단계 이전까지 다수의 시간 단계 동안 계산을 진행할 수 있도록 공간-시간 스위프트 패턴을 사용한다.
• MPI를 사용하여 구현되었으며, 수치적 스킴 로직과 도메인 분할 로직을 분리하는 깔끔한 추상화 계층을 통해 기존 PDE 해법기와 통합될 수 있도록 설계되었다.
• 모든 필요한 데이터가 필요한 순간에만 교환되므로, 일부 통신 회피 알고리즘과 달리 중복 계산을 피한다.

실험 결과

연구 질문

• RQ1 공간-시간 도메인 분할이 병렬 2D PDE 해법기에서 통신 빈도를 줄일 수 있는가? 이는 중복 계산이 증가하지 않는 조건에서 가능할까?
• RQ2 메시지 수를 줄임으로써 네트워크 지연 시간이 시간 진행 PDE 해법기에 미치는 영향을 어느 정도 완화할 수 있는가?
• RQ3 스위프트 룰은 기존의 공간 도메인 분할 방식과 비교해 실제로 2D PDE의 성능 향상과 확장성 측면에서 어떻게 성능을 발휘하는가?
• RQ4 스위프트 룰은 선형 및 비선형 PDE, 예를 들어 2D 파동 방정식과 오일러 방정식에 효과적으로 적용될 수 있는가?
• RQ5 항공-열 설계에서 흔히 볼 수 있는 소규모, 장기간 시뮬레이션에 적용했을 때 스위프트 룰의 성능 향상은 어떠한가?

주요 결과

• 9개의 Amazon EC2 노드 클러스터에서 약 1,000개의 격점이 각 MPI 프로세스에 할당된 2D 파동 방정식을 풀 때 스위프트 룰은 3배 이상의 성능 향상을 달성했다.
• 2D 오일러 방정식의 경우 약 400개의 격점이 각 노드에 할당되었을 때 스위프트 룰이 4배의 성능 향상을 기록하여 비선형 압축성 흐름에 대한 효과성을 입증했다.
• 작은 문제 크기에서도 성능 향상이 관찰되어, 저대역폭, 고지연 네트워크 환경에서 지연 장벽을 효과적으로 돌파한다는 것을 확인했다.
• 모든 경우에서 수치 정확도를 유지하였으며, 둘 다에서 올바른 파동 전파 및 운동량 변화를 보여주는 등고선도로 검증되었다.
• 이론적 성능 모델은 실험 결과와 밀도 있게 일치하였으며, 그림 14와 그림 16의 기울기 내림선은 지연 회피 기여를 기록하는 $\frac{4\tau}{n}$ 항을 나타낸다.
• 2D PDE를 위한 스위프트 룰의 오픈소스 구현체는 GitHub에 공개되어 있어 재현성과 다른 해법기와의 통합을 가능하게 한다.